Python多进程和多线程

最新推荐文章于 2021-01-29 18:26:01 发布

天花板上飞着鱼

最新推荐文章于 2021-01-29 18:26:01 发布

阅读量236

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/qq_24367797/article/details/108844051

版权

本文探讨了Python中的多进程和线程。在多进程部分，提到了使用multiprocessing库创建进程池，通过Manager实现数据共享，并详细阐述了Pool的工作机制、apply_async的异步特性、读写文件及回调函数的使用。在多线程部分，讲解了threading库的应用，特别是threading.Lock()在控制并发读写同一变量中的作用。

摘要由CSDN通过智能技术生成

一.

二.进程

使用multiprocessing库：

from multiprocessing import Pool, Manager

代码模板如下：

def mycallback(task):
    with open('./tmp','a+',encoding='utf-8') as f:
        f.write(task)
   

def method(task):
    return task


def get_queue():
    manager=Manager()
    q=manager.Queue()

    for i in range(1,100):
        q.put('task{}'.format(i))

    return q


def main():
    q=get_queue()

    pool = Pool(processes=4)
    '''
    for task in tasks:
        result=pool.apply_async(method, args=(task, ), callback=mycallback)
        res=result.get() #1.没有get方法，有可能没有子进程报错信息！！2.在for内部添加此行代码，将变成顺序执行各个子进程，而不是并行执行。
    建议改为以下两行代码
    '''
    results=[pool.apply_async(method, args=(task, ), callback=