原文地址# 原文 scrapy出错 显示403错误,ip被禁,需要加入user-agent scrapy shell 'xxx_url' -s USER_AGENT='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' setting.py中需要加入user-agent