scrapy遇到的坑

记录一下今天用scrapy遇到的坑,本来在本机上测试是可以正常运行的,


而发布到linux测试环境,居然没有爬取到任何结果,运行结果如下图,

 

以前并没有遇到这种情况,如果有报错至少有个大概的解决方向,没报错让人感到无从下手,后来想到,这个爬虫和之前的不同之处是使用了xpath,想到这个我赶紧查看了下安装包,果然,服务器和本机是不同的,于是我将两个版本统一,然而,问题还是没有解决,,


 之后我想,是不是因为Linux的系统与windows的不一致导致没有解析到数据,然后我单独将解析代码单独拿出来测试,果然,没有解析到任何数据,终于找到了突破口,后面的事情就好办了,通过抽丝剥茧,终于找到了问题,如图


就是这几行代码导致,本来是通过"\n"切割数据,没想到同样的代码,居然因为运行环境的不同,运行结果不同,测试如下




很明显,linux自动忽略了第一个空格,实在想不明白居然会有这样的问题,不过,这样让我更加加深了对linux,和windows系统的区别

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值