python并行处理任务时 该用多进程？还是该用多线程？

      在python并行处理任务时要使用多线程还是多进程？ 说到这个话题，必须要提的GIL( Global Interpreter Lock)全局解释锁，当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了，如果使用多线程是比也会受到影响。

       多线程和多进程程序比较，哪个性能更高？还是拿一个实例运行来看看吧～ 

＃写一个简单的例子，计算100W个随机数的和8次，同时将分散到8个线程进行运算。
＃thread.py

#!/usr/bin/env python

import random
import threading

results = []

def compute():
    results.append(
        sum([random.randint(1,100) for i in range(1000000)]))

def main():        
    workers = [threading.Thread(target(compute) for  x in range(8))]

    for worker in workers:
        worker.start()
    
    for woker in workers:
        worker.join()
    print("Result: %s" % results)
   
   
if __name__  == "__main__":
    main()
    

    
#相同的功能，使用多进程来实现
#worker.py

#!/usr/bin/env python

import multiprocessing
import random

def compute(n):
    return sum(
        [random.randint(1,100) for i in range(1000000)])
        
def main():
    pool = multiprocessing.Pool(8)
    print("Results: %s" % pool.map(compute, range(8)))
    
if __name__ == "__main__":
    main()

 两个代码片段已经写完了，接下来我找了三种配置的机器来运行这两段代码：

配置1	1Core	2GB内存
配置2	4Core	8GB内存
配置3	48Core	64GB内存

实验1:

两端代码同时在1Core 2GB机器上运行，查看运行结果：

从运行结果来看，多线程的程序比多进程的程序效率要高，使用cpu都是99%(由于机器只有一个Core，多进程没有体现它的价值)。

实验2:

两段代码同时在4Core 8GB内存机器上运行，查看运行结果：

从运行结果来看，多进程程序效率比多线程程序效率要高1倍还要多。cpu使用上多线程卡在了141%，多进程跑到了379%，这里体现出多进程的优势。

实验3:

两段代码同时在48core 64GB内存机器上跑，查看运行结果：

从运行结果来看，多进程程序cpu可以跑到715%(程序设置了开启8个worker进程，所以不会超过800%)，而多线程卡在了124%。

通过以上测试结果，已经可以得出。python下多进程程序要比多线程程序要高效。并且会随着Core数不断的增加，性能也会得到提升。

所以考虑在一定的时间内并行处理一些工作时，最好依靠多进程创建多个作业，以便在多个cpu之间分散负载。

转载于:https://blog.51cto.com/davidbj/1673031