由于Python设计的限制(我说的是咱们常用的CPython)。最多只能用满1个CPU核心。
Python提供了非常好用的多进程包multiprocessing,你只需要定义一个函数,Python会替你完成其他所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。
1、新建单一进程
如果我们新建少量进程,可以如下:
01 | import multiprocessing |
02 | import time |
03 |
04 | def func(msg): |
05 | for i in xrange ( 3 ): |
06 | print msg |
07 | time.sleep( 1 ) |
08 |
09 | if __name__ = = "__main__" : |
10 | p = multiprocessing.Process(target = func, args = ( "hello" , )) |
11 | p.start() |
12 | p.join() |
13 | print "Sub-process done." |
2、使用进程池
是的,你没有看错,不是线程池。它可以让你跑满多核CPU,而且使用方法非常简单。
注意要用apply_async,如果落下async,就变成阻塞版本了。
processes=4是最多并发进程数量。
01 | import multiprocessing |
02 | import time |
03 |
04 | def func(msg): |
05 | for i in xrange ( 3 ): |
06 | print msg |
07 | time.sleep( 1 ) |
08 |
09 | if __name__ = = "__main__" : |
10 | pool = multiprocessing.Pool(processes = 4 ) |
11 | for i in xrange ( 10 ): |
12 | msg = "hello %d" % (i) |
13 | pool.apply_async(func, (msg, )) |
14 | pool.close() |
15 | pool.join() |
16 | print "Sub-process(es) done." |
3、使用Pool,并需要关注结果
更多的时候,我们不仅需要多进程执行,还需要关注每个进程的执行结果,如下:
01 | import multiprocessing |
02 | import time |
03 |
04 | def func(msg): |
05 | for i in xrange ( 3 ): |
06 | print msg |
07 | time.sleep( 1 ) |
08 | return "done " + msg |
09 |
10 | if __name__ = = "__main__" : |
11 | pool = multiprocessing.Pool(processes = 4 ) |
12 | result = [] |
13 | for i in xrange ( 10 ): |
14 | msg = "hello %d" % (i) |
15 | result.append(pool.apply_async(func, (msg, ))) |
16 | pool.close() |
17 | pool.join() |
18 | for res in result: |
19 | print res.get() |
20 | print "Sub-process(es) done." |