多线程和多进程结合使用

多线程和多进程结合使用

代码：

from threadpool import ThreadPool,makeRequests
from multiprocessing import Pool
from time import sleep,time
#随便定义一个函数当做线程池的任务，有具体任务（比如爬虫）时更改func里的代码
def func(a):
    print(a)
    sleep(1)
#将创建线程池的部分封装为一个函数，用进程池来调用
def create_threads(lst):
    t_pool = ThreadPool(10) #穿件线程池，包含10个线程
    tasks = makeRequests(func,lst) #创建任务列表
    for task in tasks:
        t_pool.putRequest(task) #将任务放进线程池
    t_pool.wait() #启动并等待线程池执行完

if __name__ == '__main__':
    p_pool = Pool(3)
    ts = [] #用来构建进程池的参数列表
    for i in range(1,4):
        a = []
        for j in range(10):
        	a.append(f'我是子进程{i}')
        ts.append(a)
    s = time()
    p_pool.map(create_threads,ts) #将任务放进进程池
    p_pool.close()#关闭进程池
    p_pool.join()#等待进程池执行完成
    e = time()
    print(f'执行时间：{e-s}s')

执行结果：

H:\Python虚拟环境\Spyder\Scripts\python.exe H:/Python培训/day9-招聘网站数据爬取/test.py
我是子进程1我是子进程1
我是子进程1我是子进程1我是子进程1我是子进程1
我是子进程1
我是子进程1


我是子进程1


我是子进程1
我是子进程2我是子进程2我是子进程2我是子进程2我是子进程2我是子进程2我是子进程2我是子进程2我是子进程2我是子进程2









我是子进程3我是子进程3我是子进程3我是子进程3我是子进程3我是子进程3我是子进程3我是子进程3我是子进程3我是子进程3









执行时间：1.6082665920257568s

Process finished with exit code 0