scrapy 的并发是共同由
上面的前两个字段共同决定爬虫的抓取速度;
其中一个的设置是无法保证并发很大的,还有reactor_threadpool
比如数据库方面的插入
请填写红包祝福语或标题
红包个数最小为10个
红包金额最低5元
抵扣说明:
1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。