并发编程(6)----进程池和线程池

进程池和线程池可以避免进程和线程的浪费,提高效率

ps:py2中进程池和线程池需要自己写,py3以后有相应的模块我们直接引入就行

1.进程池

from concurrent.futures import ThreadPoolExecutor
import threading
import time
thread_pool = ThreadPoolExecutor(5)   #创建一个5个有5个线程的线程池

def task(arg):
	print(threading.current_thread(),arg)
	time.sleep(2)

def run():
	for i in range(10):
		thread_pool.submit(task,arg)

2.进程池

from concurrent.futures import ProcessPoolExecutor
import time
import multiprocessing
process_pool = ProcessPoolExecutor(5)  #创建一个有5个进程的进程池

def task(arg):
    print(multiprocessing.current_process(),arg)
    time.sleep(2)

def run():
    for i in range(10):
        process_pool.submit(task,i)

if __name__ == '__main__':
    run()

进/线程池中的进/线程不是越多越好,进程池中进程的个数与cpu的内核有关,线程池中线程的个数与逻辑处理器的个数有关,根据不同的cpu去设置进/线程池中进/线程的个数,更好的利用cpu

最后啰嗦一下内核和逻辑处理器:
查看方式:任务管理器—>性能

内核是cpu的物理核心,利用intel的多线程技术可以将内核在软件层面上变成两个逻辑处理器(线程),但是工作的核心还是内核,
内核决定进程池中进程的个数,逻辑处理器决定线程池中线程的个数