刘小义的博客

使用Scrapyd远程控制爬虫Scrapyd是Scrapy提供的可以远程部署和监控爬虫的工具，其官方文档为：http://scrapyd.readthedocs.org/en/latest第一步：安装Scrapyd服务端和客户端工具# 安装Scrapyd服务器端Power@PowerMac ~$ sudo pip install Scrapyd# 安装Scrapyd客户端工具Pow...

Scrapyd部署项目后启动报错，无法找到模块No module named xxxx(已解决)前置操作爬虫本地测试无任何问题，正常部署到scrapyd中，无异常报错通过远程启动爬虫报错提示No module named xxxx原因scrapyd没有将文件/模块成功打包通过查看爬虫目录下的project.egg-info(不同版本可能名字不同，但会有egg存在)目录结构为以下....