部署爬虫时出错
爬虫开发完成,通过gerapy部署到云实例,然后运行时报错如标题所示,起初百思不得其解,之前申请的云实例部署上去之后运行OK,现在怎么就不行了?
解决思路
后来就想既然系统配置都是一样的,那会不会是安装包的版本问题导致的?然后对比了新实例和之前实例的安装包版本,发现版本果然不一样。安装时候采用的pip安装方式,默认安装应该是最新版本,所以才出现了标题所描述的问题。
解决方法
版本回退:
- pip install Twisted==18.9.0
- pip install redis==3.0.1
- pip install Scrapy==1.6.0
完美解决!!!