慢慢更新
1.添加egg 发现没有添加成功爬虫
解决方式:观察后台scrapyd.log日志报的错误,一般是该安装的包没安装完,需要再pip安装完。
2.在project 选项可以添加多个项目,你可以一个选择添加ip代理,一个不用ip代理。
3.添加项目之后,查看具体爬虫任务,如果没出现的话,可能是你打包路径错误,回到根目录重新打包上传。
4.重启流程:
- 停止后台scrapy、spiderkeeper进程
- 删除 eggs dbs logs/* SpiderKeeper.db twistd.pid
- 重新执行脚本启动
- 上传新项目的egg包