yield python 两层_python multiprocess 使用 yield

python在处理数据的时候，memory-heavy 的数据往往会导致程序没办反运行或者运行期间服务器其他程序效率受到影响。这种情况往往会把数据集合变为通过genertor来遍历。

但同时如我们所知，generoter看似只能被单进程消费，这样效率很低。

generator 可以被pool.map消费。

看一下pool.py的源码。

for i, task in enumerate(taskseq):

...

try:

put(task)

except IOError:

debug('could not put task on queue')

break

实际是先将generator全部消费掉放到queue中。然后通过map来并行。这样是解决了使用map来并行。

但是依然没有解决占用内存的问题。这里有两步占用内存。

第一步是全部消费掉的generator。

第二步并行运算全部data。

解决第一个问题，通过部分消费generator来达到。

解决第二个问题，可以通过imap来达到.

示例代码如下：

import multiprocessing as mp

import itertools

import time

def g():

for el in xrange(50):

print el

yield el

import os

def f(x):

time.sleep(1)

print str(os.getpid()) +" "+ str(x)

retu