python并行处理任务时 该用多进程?还是该用多线程?

在python并行处理任务时要使用多线程还是多进程? 说到这个话题,必须要提的GIL( Global Interpreter Lock)全局解释锁,当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了,如果使用多线程是比也会受到影响。

       多线程和多进程程序比较,哪个性能更高?还是拿一个实例运行来看看吧~ 

 

#写一个简单的例子,计算100W个随机数的和8次,同时将分散到8个线程进行运算。
#thread.py

#!/usr/bin/env python

import random
import threading

results = []

def compute():
    results.append(
        sum([random.randint(1,100) for i in range(1000000)]))

def main():        
    workers = [threading.Thread(target(compute) for  x in range(8))]

    for worker in workers:
        worker.start()
    
    for woker in workers:
        worker.join()
    print("Result: %s" % results)
   
   
if __name__  == "__main__":
    main()
    

    
#相同的功能,使用多进程来实现
#worker.py

#!/usr/bin/env python

import multiprocessing
import random

def compute(n):
    return sum(
        [random.randint(1,100) for i in range(1000000)])
        
def main():
    pool = multiprocessing.Pool(8)
    print("Results: %s" % pool.map(compute, range(8)))
    
if __name__ == "__main__":
    main()

 

 两个代码片段已经写完了,接下来我找了三种配置的机器来运行这两段代码:

 

配置1      1Core             2GB内存

配置2

      4Core             8GB内存
配置3      48Core             64GB内存

 

实验1:

两端代码同时在1Core 2GB机器上运行,查看运行结果:

 

wKioL1Wfmc6RZe2aAAJODN1oYpM336.jpg

从运行结果来看,多线程的程序比多进程的程序效率要高,使用cpu都是99%(由于机器只有一个Core,多进程没有体现它的价值)。

 

实验2:

两段代码同时在4Core 8GB内存机器上运行,查看运行结果:

 

wKioL1Wfm2ijoMj-AAGoBy2Asr8801.jpg

从运行结果来看,多进程程序效率比多线程程序效率要高1倍还要多。cpu使用上多线程卡在了141%,多进程跑到了379%,这里体现出多进程的优势。

 

实验3:

两段代码同时在48core 64GB内存机器上跑,查看运行结果:

 

wKiom1Wfm0XgGPqPAAIzZQw09_A258.jpg

从运行结果来看,多进程程序cpu可以跑到715%(程序设置了开启8个worker进程,所以不会超过800%),而多线程卡在了124%。

 

通过以上测试结果,已经可以得出。python下多进程程序要比多线程程序要高效。并且会随着Core数不断的增加,性能也会得到提升。

 

所以考虑在一定的时间内并行处理一些工作时,最好依靠多进程创建多个作业,以便在多个cpu之间分散负载。

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页