Scrapy笔记：使用scrapy shell url时出现403错误的解决办法

参考 ： http://www.th7.cn/Program/Python/201704/1154208.shtml

 原因是网站的防爬虫配置起到了作用

(1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0'

(2):第二种方法是修改scrapy默认配置中的user-agent默认值

　　default_settings.py文件C:\Miniconda2\Lib\sitepackages\scrapy\settings\default_settings.py

　　把USER_AGENT = 'Scrapy/%s (+http://scrapy.org)' % import_module('scrapy').__version__

　　改为USER_AGENT = 'Mozilla/5.0'

转载于:https://www.cnblogs.com/zhangjpn/p/6802774.html