python并发处理list数据_3种方式实现python多线程并发处理

标签： python奇淫技巧

最优线程数

Ncpu=CPU的数量

Ucpu=目标CPU使用率

W/C=等待时间与计算时间的比率

为保持处理器达到期望的使用率，最优的线程池的大小等于

$$Nthreads=Ncpu*Ucpu*（1+W/C$$

cpu密集型任务，即$W<

如果希望CPU利用率为100%，则$Nthreads=Ncpu$

IO密集型任务，即系统大部分时间在跟I/O交互，而这个时间线程不会占用CPU来处理，即在这个时间范围内，可以由其他线程来使用CPU，因而可以多配置一些线程。

混合型任务，二者都占有一定的时间

线城池

对于任务数量不断增加的程序，每有一个任务就生成一个线程，最终会导致线程数量的失控。对于任务数量不端增加的程序，固定线程数量的线程池是必要的。

方法一：使用threadpool模块

threadpool是一个比较老的模块了，支持py2 和 py3 。

import threadpool

import time

def sayhello (a):

print("hello: "+a)

time.sleep(2)

def main():

global result

seed=["a","b","c"]

start=time.time()

task_pool=threadpool.ThreadPool(5)

requests=threadpool.makeRequests(s