学习scrapy出错,在spider下执行 scrapy crawl 文件名字显示上述错误
解决方法
1、查看weisted版本
pip show twisted
查资料发现版本太高了
2、卸载较高版本
pip uninstall twisted
3、安装较低版本:
pip install twisted==22.10.0
如果还没有解决
查看和spider文件同级别的setting.py文件中
是否 ROBOTSTXT_OBEY = True
可以注释掉或者改为False