暂停爬虫

当我们一个爬虫项目量非常大时候，我们可能不能一次执行完毕，需要分好几次执行，这时候，我们只需要在启动爬虫的时候键入命令

scrapy crawl xxx -s JOBDIR=job1

这时候我们可以看到任务开始执行了，当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入：

scrapy crawl xxx -s JOBDIR=job1

这样就可以继续执行了~~

作者：Darkeril
链接：http://www.jianshu.com/p/e71ff6173302
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

转载于:https://www.cnblogs.com/AbsolutelyPerfect/p/7629266.html