python 进程池与队列结合_Python高级编程之消息队列(Queue)与进程池(Pool)实例详解...

本文实例讲述了Python高级编程之消息队列(Queue)与进程池(Pool)。分享给大家供大家参考，具体如下：

Queue消息队列

1.创建

import multiprocessing

queue = multiprocessing.Queue(队列长度)

2.方法

方法

描述

put

变量名.put(数据)，放入数据(如队列已满，则程序进入阻塞状态，等待队列取出后再放入)

put_nowait

变量名.put_nowati(数据)，放入数据(如队列已满，则不等待队列信息取出后再放入，直接报错)

get

变量名.get(数据)，取出数据(如队列为空，则程序进入阻塞状态，等待队列防如数据后再取出)

get_nowait

变量名.get_nowait(数据)，取出数据(如队列为空，则不等待队列放入信息后取出数据，直接报错)，放入数据后立马判断是否为空有时为True，原因是放入值和判断同时进行

qsize

变量名.qsize()，消息数量

empty

变量名.empty()(返回值为True或False)，判断是否为空

full

变量名.full()(返回值为True或False)，判断是否为满

3.进程通信

因为进程间不共享全局变量，所以使用Queue进行数据通信，可以在父进程中创建两个字进程，一个往Queue里写数据，一个从Queue里取出数据。

例：

import multiprocessing

import time

def write_queue(queue):

# 循环写入数据

for i in range(10):

if queue.full():

print("队列已满!")

break

# 向队列中放入消息

queue.put(i)

print(i)

time.sleep(0.5)

def read_queue(queue):

# 循环读取队列消息

while True:

# 队列为空，停止读取

if queue.empty():

print("---队列已空---")

break

# 读取消息并输出

result = queue.get()

print(result)

if __name__ == '__main__':

# 创建消息队列

queue = multiprocessing.Queue(3)

# 创建子进程

p1 = multiprocessing.Process(target=write_queue, args=(queue,))

p1.start()

# 等待p1写数据进程执行结束后，再往下执行

p1.join()

p1 = multiprocessing.Process(target=read_queue, args=(queue,))

p1.start()

执行结果：

Pool进程池

初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。

1.创建

import multiprocessing

pool = multiprocessing.Pool(最大进程数)

2.方法

方法

描述

apply()

以同步方式添加进程

apply_async()

以异步方式添加进程

close()

关闭Pool，使其不接受新任务(还可以使用)

terminate()

不管任务是否完成，立即终止

join()

主进程阻塞，等待子进程的退出，必须在close和terminate后使用