17、Python_多进程与通信

多进程主要应用的两个操作系统上的区别

1. Linux
   可以通过fork()函数创建子进程
   子进程返回0
   父进程返回子进程的id

代码：

import os
pid=os.fork()
if pid==0:
	#这里是子进程跑的逻辑
else:
	#这里是子进程跑的逻辑

2. Windows
   windows上没有fork调用
   但可以使用multiprocessing模块

代码：

from multiprocessing import Process
import os
def run_proc(name):
    print("Name is %s" % name)

if __name__=="__main__":
	p=Process(target=run_proc, args=('test',))
	p.start()
	//等进程跑完
	p.join()

进程池

使用Pool可以批量创建进程

from multiprocessing import Pool

def run_proc(name):
    print("Name is %s" % name)
    
if __name__=="__main__":
	pool=Pool(8)	
	for i in range(9):
		pool.apply_async(run_proc,args=(i,))
	pool.close()
	//等进程跑完
	pool.join()

子进程

使用subprocess

import subprocess
r=subprocess.call(['nslookup','www.baidu.com'])

子进程输入

import subprocess
p = subprocess.Popen(['nslookup'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
output, err = p.communicate(b'set q=mx\npython.org\nexit\n')

进程间通信

使用Queue、Pipes等方式来交换数据

from multiprocessing import Process, Queue
import os, time, random

# 写数据进程执行的代码:
def write(q):
    print('Process to write: %s' % os.getpid())
    for value in ['A', 'B', 'C']:
        print('Put %s to queue...' % value)
        q.put(value)
        time.sleep(random.random())

# 读数据进程执行的代码:
def read(q):
    print('Process to read: %s' % os.getpid())
    while True:
        value = q.get(True)
        print('Get %s from queue.' % value)

if __name__=='__main__':
    # 父进程创建Queue，并传给各个子进程：
    q = Queue()
    pw = Process(target=write, args=(q,))
    pr = Process(target=read, args=(q,))
    # 启动子进程pw，写入:
    pw.start()
    # 启动子进程pr，读取:
    pr.start()
    # 等待pw结束:
    pw.join()
    # pr进程里是死循环，无法等待其结束，只能强行终止:
    pr.terminate()

小结

linux可以用fork调用创建进程

windows使用multiprocessing模块Process创建进程

也可以使用Pool统一创建管理进程

使用subprocess创建子进程

使用Queue/Pipes进行进程间通信