代码地址:https://github.com/Jeffail/tunny 作用 创建一个数量为N的工人小组,每个工作执行工作,谁闲下来就把新工作分配给他。 好处 保证不会因为工人数量太多,吃垮公司(服务器),在最大化利用服务器资源的情况下,完成需要处理的工作。 使用场景 爬虫,需要爬的网址有1亿,创建1万个爬虫,不停地爬,保证服务器稳定。大量数据的处理