【scrapyd】windows下安装运行scrapyd

写在前面的话:根据最近的想法是想把scrapy和Django结合起来,调研了下,django-dynamic-scraper框架貌似是可以做到,如是乎按照http://my.oschina.net/rc6688/blog/175508 安装配置,奈何网上资料太少,对照官方文档和example并没有多少头绪。。所以就先放弃了。。scrapyd也可以部署scrapy工程,今天对照着网上资料捯饬了一天,也遇到了一些问题。


1 安装

  http://blog.csdn.net/changdejie/article/details/18407979

  首先,还是在scrapy初探写的,当我使用pip安装scrapyd后,遇到的第一个问题是openSSL的版本冲突,提示我requirement.parse[openSSL>=0.12] 而我的openSSL是0.11版本的,提示修改设置文件,然后我修改后不生效,依旧会提示这个问题,卸载重装scrapyd=1.0.1,还是有问题,提示No module named txweb,后来卸载scrapy重装为scrapy0.24版本的,没问题了(我理解是这两个版本的问题?很可惜忘了截图了,这个习惯不好,下次记得遇到错误要截图)

  其次pip install 安装依旧是有问题,运行scrapyd会显示不是内部命令,我查看scripts里,发现确实不是bat,于是使用python scrapyd运行倒是可以了,然而出了scripts这个路径貌似就不行了。。可能是我pip安装的问题?后来使用的easy_install ,这个过程反反复复安装卸载不同的版本也是累心。。

2 运行

  在运行的时候犯了一个比较二的错误,我的project目录进错了,进入了第二层,导致scrapy deploy -l 命令出错,显示没有deloy 还查了很多资料,后来好了

  windows下使用curl命令 下载gow工具,发现还是挺好用的。。

反反复复折腾了一天才把scrapyd弄好,也是醉了 。。

   

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值