Scrapy爬虫返回302重定向问题解决方法

练习scrapy爬虫遇到爬取页面时302重定向导致response页面与实际需要爬取的页面信息不一致，导致无法正常获取信息，查看日志存在 scrapy.downloadermiddlewares.redirect 。
解决方法：
有些网站需要检查cookies头部信息，这样无需登录就能进行访问，所以可以在settings中添加头部信息cookies，同时将cookies_enabled参数置为false，即可正常进行爬取操作

# Disable cookies (enabled by default)
COOKIES_ENABLED = False

DEFAULT_REQUEST_HEADERS = {
   
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
    '