scrapy 的暂停和重启

scrapy的爬虫在运行时，需要暂时停止运行，并在下一次从暂停的地方继续爬取的方法：

1.打开cmd进入虚拟环境，cd到scrapy的main.py目录下；

2.在cmd下输入以下命令

scrapy crawl 爬虫名称 -s JOBDIR=保存进程的文件夹目录

比如我要运行的spider的name为zhihu，文件夹目录是scrapy目录下的job_info/001(001表示这是一次爬取任务，重新新建任务需要重新建立目录，比如002），我需要运行的指令为：

scrapy crawl jobbole -s JOBDIR=job_info/001

3.运行过程中按下Ctrl+c暂停任务，等待处理完未完成的进程（按下两次Ctrl+c为强制结束进程）；

4.结束后显示：

[scrapy.core.engine] INFO: Spider closed (shutdown)

5.下次需要重启的时候，输入与第二步相同的命令。