1、retrytimes:请求失败后重试的次数,circleretrytimes是循环重试次数,该机制会将下载失败的url重新放入队列尾部重试,直到达到重试次数,以保证不因为某些网络原因漏抓页面,如代理ip不通。
2、标识符spawnUrl:是否添加新的url到schedule。
1、retrytimes:请求失败后重试的次数,circleretrytimes是循环重试次数,该机制会将下载失败的url重新放入队列尾部重试,直到达到重试次数,以保证不因为某些网络原因漏抓页面,如代理ip不通。
2、标识符spawnUrl:是否添加新的url到schedule。