Win10-WSL上python multiprocessing pool对多核CPU的利用率的测试和验证

最新推荐文章于 2023-10-05 20:28:42 发布

Gun&rose

最新推荐文章于 2023-10-05 20:28:42 发布

阅读量1.4k

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/weixin_40224560/article/details/114659417

版权

本文介绍了在Windows 10的WSL环境下，使用Python的multiprocessing pool进行多核CPU利用率测试的过程。通过查看CPU核心数、编写并发测试脚本并观察进程行为，发现pool在未指定进程数时默认利用所有逻辑处理器。测试结果显示，无论设置的进程数大于或小于实际逻辑处理器数，系统实际并行的进程数始终为8，这可能是WSL的限制。通过对进程数的调整，可以观察到CPU处理器利用率的变化。

摘要由CSDN通过智能技术生成

在测试之前先查看和确认一下CPU数量

如下图，在Win10上查看，当前主机有4核CPU，8个Logical processors核心

同样WSL具有8个processors

jy@ZT$ cat /proc/cpuinfo | grep processor
processor       : 0
processor       : 1
processor       : 2
processor       : 3
processor       : 4
processor       : 5
processor       : 6
processor       : 7

jy@ZT$ grep 'core id' /proc/cpuinfo | sort -u | wc -l
4
jy@ZT$ cat /proc/cpuinfo | grep "cpu cores" | wc -l
8
jy@ZT$ cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
      8  Intel(R) Core(TM) i7-8665U CPU @ 1.90GHz
jy@ZT$ grep 'processor' /proc/cpuinfo | sort -u | wc -l
8

编写了一个用icmp ping检测的脚本，使用multiprocessing pool做并发测试

import os
from multiprocessing.dummy import Pool as ThreadPool
import time

ip_list = open('ip.txt').readlines()
    
ipaddress = []
    
for ip in ip