Python多任务之进程

python通过多进程实现多任务的几种方法

os.fork()

只用在类Unix/Linux系统中有效，Windows系统中无效

fork函数调用一次，返回两次：在父进程中返回值为子进程id，在子进程中返回值为0

import os
ret = os.fork()

if ret:
    # 父进程
    print("主进程，PID={}".format(os.getpid()))
else:
    # 子进程
    print("子进程，PID={}，父进程PID={}".format(os.getpid(), os.getppid()))

使用multiprocessing模块: 创建Process的实例，传入任务执行函数作为参数

import os,time
from multiprocessing import Process
 
def worker():
    print("子进程执行中... pid={},ppid={}".format(os.getpid(),os.getppid()))
    time.sleep(2)
    print("子进程结束... pid={}".format(os.getpid()))
 
def main():
    print("主进程开始执行 pid={}".format(os.getpid()))
 
    ps=[]
    # 创建子进程实例
    for i in range(2):
        p=Process(target=worker,name="worker"+str(i),args=())
        ps.append(p)
 
    # 开启进程
    for i in range(2):
        ps[i].start()
 
    # 阻塞进程
    for i in range(2):
        ps[i].join()
 
    print("主进程结束")
 
 
if __name__ == '__main__':
    main()

使用multiprocessing模块: 派生Process的子类，重写run方法

import os,time
from multiprocessing import Process
 
class MyProcess(Process):
    def __init__(self):
        Process.__init__(self)
 
    def run(self):
        print("子进程开始 pid={},ppid={}".format(os.getpid(),os.getppid()))
        time.sleep(2)
        print("子进程结束 pid={}".format(os.getpid()))
 
def main():
    print("主进程开始 pid={}".format(os.getpid()))
    myp=MyProcess()
    myp.start()
    myp.join()
    print("主进程结束")
 
if __name__ == "__main__":
    main()

使用进程池Pool

import os,time
from multiprocessing import Pool
 
def worker(arg):
    print("子进程开始执行 pid={},ppid={},编号{}".format(os.getpid(),os.getppid(),arg))
    time.sleep(0.5)
    print("子进程结束 pid={},ppid={},编号{}".format(os.getpid(),os.getppid(),arg))
 
def main():
    print("主进程开始 pid={}".format(os.getpid()))
    ps=Pool(5)
    for i in range(10):
        # ps.apply(worker,args=(i,))          # 同步执行
        ps.apply_async(worker,args=(i,))  # 异步执行
 
    # 关闭进程池，停止接受其它进程
    ps.close()
    # 阻塞进程
    ps.join()
    print("主进程结束")
 
if __name__ == '__main__':
    main()