Scrapy爬取微博Crawled (302)重定向的坑

搞了一天多的Scrapy重定向问题，终于找到了问题所在。
一开始加上请求头 UA、COOKIE就重定向到登录页面，然后又在setting里面设置请求头也不起作用。。。c某度查了很多资料也都没解决。。。崩溃-_- 再要放弃采取其他途径的时候想着再试一下，最后终于发现的问题所在，不啰嗦了直接分享给大家：

当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie

当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie

当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie

总结：

如果使用自定义cookie就把COOKIES_ENABLED设置为True

如果使用settings的cookie就把COOKIES_ENABLED设置为False

PS：还是怪自己对Scrapy框架了解太少，没有认真探究每个命令的作用。最终能解决，还是很高兴的_{^_^}