Python多进程，多线程和异步实例

---

前言

分享一些多进程，多线程和异步实例，顺便写个笔记记录一下

---

一、多进程

1. 进程间通信使用Queue队列

Queue的特点：先进先出，后进后出

Queue的使用：可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序

Queue.qsize() ：返回当前队列包含的消息数据

Queue.empty() ：如果队列为空，返回True，反之False

Queue.full() ：如果队列满了，返回True，反之False

Queue.get([block[,timeout]]) ：获取队列中的一条消息，然后将从队列中移除，block默认为True

Queue.put([item,[block[,timeout]]]) ：将item消息写入队列中，block默认是True

from multiprocessing import Queue
q=Queue(2)
q.qsize()  #0
q.put('a')
q.put('b')
#q.put('c')  放不下了，因为队列中只能是2个  【阻塞】
q.get()  #a
q.get()  #b
#q.get()   取不了，因为队列中只能是2个   【阻塞】

2. 多进程中的通信【一个往Queue里写，一个从Queue里读】

from multiprocessing import Process,Queue
import os,time,random
def write(q): #写数据进程执行的代码
    for item in ['A','B','C']:
        print('Put {} to queue...'.format(item))
        q.put(item)
        time.sleep(random.randint(1,10))
def read(q):  #读数据进程执行的代码
    while True:
        if not q.empty():
            item=q.get(True)
            print('Get {} from queue'.format(item))
            time.sleep(random.randint(1,10))
        else:
            break
if __name__ == '__main__':
    q=Queue() #父进程创建Queue，并传给各个子进程
    pw=Process(target=write,args=(q,))
    pr=Process(target=read,args=(q,))
    pw.start() #启动子进程pw，写入
    pw.join()  #等待pw结束
    pr.start()  #启动子进程pr，读出
    pr.join()

3. 进程池中的通信 【只需要就上述的Queue()转换成Manager().Queue()】

from multiprocessing import Manager,Pool
import os
def reader(q):
    print('reader启动{}，父进程为{}'.format(os.getpid(),os.getppid()))
    for i in range(q.qsize()):
        print('reader从Queue获取到消息：{}'.format(q.get(True)))

def writer(q):
    print('writer启动{}，父进程为{}'.format(os.getpid(),os.getppid()))
    for i in 'PSY':
        q.put(i)
if __name__ == '__main__':
    print('{} start'.format(os.getpid()))
    q=Manager().Queue()  #使用Mananger中的Queue来初始化
    po=Pool()
    po.apply(