Python处理计算密集型任务多少个进程最优？一个小测试

最新推荐文章于 2022-06-14 17:23:28 发布

mozofly

最新推荐文章于 2022-06-14 17:23:28 发布

阅读量163

点赞数

本文链接：https://blog.csdn.net/weixin_43817232/article/details/128610134

版权

python多进程处理测试：

INFO: 任务数：300

INFO: 300个任务已经推送完毕

测试机型：CPU: i7-8700 3.2GHz 12个逻辑处理器
    # 1进程 CPU%20    Processing:  94%|█████████▎| 281/300 [02:08<00:02,  1.78it/s]
    # 4进程 CPU%40 Processing: 94%|█████████▎| 281/300 [00:48<00:02, 6.02it/s]
   # 6进程 CPU%70 Processing: 94%|█████████▎| 281/300 [00:38<00:02, 7.50it/s]
   # 8进程 CPU%95 Processing: 94%|█████████▎| 281/300 [00:33<00:02, 8.51it/s] 次优
   # 10进程 CPU%100 Processing: 94%|█████████▎| 281/300 [00:30<00:02, 9.56it/s] 最优
   # 12进程 CPU%100 Processing: 94%|█████████▎| 281/300 [00:30<00:02, 9.36it/s] 处理效率出现下滑

结论：对于使用本机型处理计算密集型的python运算使用8到10个进程比较合适。其他机型可参考。