pool.imap

网上搜索了一下，这个是Python的进程池的一种调用方法。我阅读的源代码中是这样写的：

import multiprocessing
with multiprocessing.Pool(self.num_workers, initializer=initializer, initargs=(self.G, self.node_type)) as pool:
    # chunksize 将可迭代对象分为256份， 返回一个迭代器对象all_walks
    all_walks = list(pool.imap(walk, ((walk_length, node, '') for node in tqdm(self.node_list(nodes, num_walks))), chunksize=256))

那么，很容易思考的一个问题就是：这里为什么用进程，还是进程池来处理呢？

---

1.1 进程 VS 线程

我们在多进程中常常定义两类进程：Master和Worker，Master负责分配任务，Worker负责执行任务。主进程就是Master，其他进程就是Worker。
如果用多线程实现Master-Worker，主线程就是Master，其他线程就是Worker。

1.1.1 优缺点

多进程模式最大的优点就是稳定性高，因为每个进程独立拥有自己的调度资源，一个Worker的崩溃不会影响其余进程的运行和调度。
多线程模式通常比多进程快一点，但由于每个线程共享所在进程的调度资源，所以在该进程下的任意一个线程的崩溃都会导致整个进程的崩溃。

参考：Python之进程与线程

1.2 进程池

我们在前面知道了其实进程略微有点优势，尤其是在处理并发任务不是那么高的时候。那么，为何又要用到进程池呢？
在Python中threading包为 Python 提供了线程模型，而 multiprocessing 包则为另一种并发模型。两者的用法在一定程度上是很相似的。
借用通过多进程处理 CPU 密集型运算中的案例，理解了，然后运行了下，发现差别还是很大的：

import time
from multiprocessing import Process
from threading import Thread


def count(x, y):
    # 使程序完成50万计算
    c = 0
    while c < 500000:
        c += 1
        x += x
        y += y


if __name__ == '__main__':
    t = time.time()
    for x in range(10):
        count(1, 1)
    print("Line", time.time() - t)

    counts = []
    t = time.time()
    for x in range(10):
        thread = Thread(target=count, args=(1, 1))
        counts.append(thread)
        thread.start()
    for thread in counts:
        thread.join()
    print("Threading", time.time() - t)

    counts = []
    t = time.time()
    for x in range(10):
        process = Process(target=count, args=(1, 1))
        counts.append(process)
        process.start()
    for process in counts:
        process.join()
    print("Multiprocess", time.time() - t)

运行截图：

明显，使用多进程处理是很强悍的。但是，需要使用start() 、join()来处理却显得麻烦，编程繁琐。而且在需要使用多个进程的时候，那么启动、销毁的时候却就不合适。

2.1 进程池案例

API：

imap(func, iterable, chunksize=0)

进程池中的该方法会将 iterable 参数传入的可迭代对象分成 chunksize 份传递给不同的进程来处理。
该方法会返回一个迭代器，通过 next 方法逐步拿到其运行结果。