python进程池和线程池

假设循环爬取10000个网页，需要开辟10000个线程，这个对cpu和内存会造成一定的消耗，

如果创建线程/进程池，比如创建50个，则这10000个线程都会分配到这50个线程中，，不会造成资源的浪费

# 线程池：一次性开辟一些线程，我们用户之际而给线程池提交任务，这些任务的调度交给线程池来完成

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor

def func(name):
    for i in range(100):
        print(name,i)


if __name__ == '__main__':
    # 创建线程池
    with ThreadPoolExecutor(50) as t:  # 守护线程，with这里会等待线程执行完毕才会跳出来
    # with ThreadPoolExecutor(50) as t:  # 守护进程，改个名字而已        
        for i in range (100):  # 创建100个任务
            t.submit(func,name=f'线程{i}') # 提交任务 ,name为函数fuc的入参

    print('运行结束') # 上面运行完执行这个



>>>
线程97 99线程95
 96
线程95 97
线程95 98
线程95 99
运行结束