1.scrapy crawl spider lagou -s JOBDIR= job_info/001 将暂停时信息保存到001 (-s是-set的意思)
1.不同的spider需要不同的目录
2.可以在 settings 和 custome_setting 中设置 JOBDIR= job_info/001
3.ctrl-c 后就会将暂停信息保存到001 要想重新开始则 再次运行 scrapy crawl spider lagou -s JOBDIR= job_info/001 然后会继续爬取没有做完的东西
4.linux中暂停爬虫 kill-f -9 main.py -9为强制关闭的命令
5.scrapy自动限速 AUTOTHROTTLE 等设置打开
6.自定义spider的settings custom_settings = {"COOKIES_ENABLED":False}
7.telnet localhost 6023 est() 之前必须打开自己的talnet客户端
1.不同的spider需要不同的目录
2.可以在 settings 和 custome_setting 中设置 JOBDIR= job_info/001
3.ctrl-c 后就会将暂停信息保存到001 要想重新开始则 再次运行 scrapy crawl spider lagou -s JOBDIR= job_info/001 然后会继续爬取没有做完的东西
4.linux中暂停爬虫 kill-f -9 main.py -9为强制关闭的命令
5.scrapy自动限速 AUTOTHROTTLE 等设置打开
6.自定义spider的settings custom_settings = {"COOKIES_ENABLED":False}
7.telnet localhost 6023 est() 之前必须打开自己的talnet客户端