网上搜索了一下,这个是Python
的进程池的一种调用方法。我阅读的源代码中是这样写的:
import multiprocessing
with multiprocessing.Pool(self.num_workers, initializer=initializer, initargs=(self.G, self.node_type)) as pool:
# chunksize 将可迭代对象分为256份, 返回一个迭代器对象all_walks
all_walks = list(pool.imap(walk, ((walk_length, node, '') for node in tqdm(self.node_list(nodes, num_walks))), chunksize=256))
那么,很容易思考的一个问题就是:这里为什么用进程,还是进程池来处理呢?
1.1 进程 VS 线程
我们在多进程中常常定义两类进程:Master
和Worker
,Master
负责分配任务,Worker
负责执行任务。主进程就是Master
,其他进程就是Worker
。
如果用多线程实现Master-Worker
,主线程就是Master
,其他线程就是Worker
。
1.1.1 优缺点
多进程模式最大的优点就是稳定性高,因为每个进程独立拥有自己的调度资源,一个Worker
的崩溃不会影响其余进程的运行和调度。
多线程模式通常比多进程快一点,但由于每个线程共享所在进程的调度资源,所以在该进程下的任意一个线程的崩溃都会导致整个进程的崩溃。
参考:Python之进程与线程
1.2 进程池
我们在前面知道了其实进程略微有点优势,尤其是在处理并发任务不是那么高的时候。那么,为何又要用到进程池呢?
在Python
中threading
包为 Python
提供了线程模型,而 multiprocessing
包则为另一种并发模型。两者的用法在一定程度上是很相似的。
借用通过多进程处理 CPU 密集型运算中的案例,理解了,然后运行了下,发现差别还是很大的:
import time
from multiprocessing import Process
from threading import Thread
def count(x, y):
# 使程序完成50万计算
c = 0
while c < 500000:
c += 1
x += x
y += y
if __name__ == '__main__':
t = time.time()
for x in range(10):
count(1, 1)
print("Line", time.time() - t)
counts = []
t = time.time()
for x in range(10):
thread = Thread(target=count, args=(1, 1))
counts.append(thread)
thread.start()
for thread in counts:
thread.join()
print("Threading", time.time() - t)
counts = []
t = time.time()
for x in range(10):
process = Process(target=count, args=(1, 1))
counts.append(process)
process.start()
for process in counts:
process.join()
print("Multiprocess", time.time() - t)
运行截图:
明显,使用多进程处理是很强悍的。但是,需要使用start()
、join()
来处理却显得麻烦,编程繁琐。而且在需要使用多个进程的时候,那么启动、销毁的时候却就不合适。
2.1 进程池案例
API
:
imap(func, iterable, chunksize=0)
进程池中的该方法会将 iterable
参数传入的可迭代对象分成 chunksize
份传递给不同的进程来处理。
该方法会返回一个迭代器,通过 next
方法逐步拿到其运行结果。