scrapyd部署小坑

scrapyd部署scrapy项目小问题总结

scrapy.cfg文件说明

在这里插入图片描述
图中1表示,你部署项目的一个标识,没什么太大作用,名字随意,自己好记就行。
图中2表示,你要部署到服务器的地址和端口,其他服务器也行,前提是那个服务器有scrapyd相关环境。
图中3表示,你的爬虫项目名称,要跟上面default部分一致。
小结:当要部署多个爬虫时,spiders目录里面每增加一个爬虫都要执行一次scrapyd-deploy命令,

scrapyd-deploy小坑

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

当使用scrapyd-deploy部署项目时,如果你的爬虫目录里面有其他非爬虫文件,就有可能导致输入命令后一致卡在那,没有相应,而且你再刷新你的web界面时也会没反应,一直加载不出来。例如 ,上图所示,我在pycharm上在spiders文件夹里面创建一个start.py用于启动调试用的文件,就出现这种情况。

以上如有错误,一起改正!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值