Python-multiprocessing进程管理

最新推荐文章于 2024-07-27 03:39:23 发布

Y2701310012

最新推荐文章于 2024-07-27 03:39:23 发布

阅读量7.4k

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/Y2701310012/article/details/41039179

版权

本文介绍了Python的multiprocessing模块，重点讲解了如何创建进程、设置守护进程、终止进程及检查进程退出状态，还涉及日志、派生进程、消息传递和线程池等内容，旨在帮助理解并有效利用多进程提升性能。

摘要由CSDN通过智能技术生成

multiprocessing模块包含一个API，它基于threading API可以在多个进程间划分工作。有些情况下，multiprocessing可以作为临时替换，取代threading来利用多个CPU内核，避免全局解释器锁带来的性能瓶颈。

1. multiprocessing基础

创建进程(MP.Process)

要创建第二个进程，最简单的方法是实例化一个Process对象，并调用start()让其工作。

import multiprocessing

def worker():
    print 'Worker'
    return

if __name__ == '__main__':
    jobs = []
    for i in range(5):
        p = multiprocessing.Process(target = worker)
        jobs.append(p)
        p.start()

执行结果将会打印5次‘Worker'，不过不清楚孰先孰后，这取决于具体的执行顺序，因为每个进程都在竞争访问输出流。更有用的做法是，创建一个进程时可以提供参数。与threading不同，要向一个multiprocessing Process传递参数，这个参数必须能够使用pickle串行化。下面的例子向各个工作进程传递一个要打印的数。

import multiprocessing
import time

def worker(num):
    print "Worker", num
    time.sleep(0.1)
    return

if __name__ == '__main__':
    jobs = []
    for i in range(5):
        p = multiprocessing.Process(target = worker, args = (i,))
        jobs.append(p)
        p.start()

Worker 0

Worker 2

Worker 3

Worker 4

Worker 1

可导入的目标函数

threading与multiprocessing例子之间有一个区别，multiprocessing例子中对__main__使用了额外的保护。对于新进程的启动方式，要求子进程能够导入包含目标函数的脚本。可以讲应用的主要部分包装在一个__main__检查中，确保模块导入时不会在各个子进程中递归地运行。另外一个方法是从一个单独的脚本中导入目标函数，下面例子中进程的工作函数是simple.py中worker函数：

import multiprocessing
import simple

if __name__ == '__main__':
    jobs = []
    for i in range(5):
        p = multiprocessing.Process(
                target = simple.worker,