python scrapy爬虫遇见301_scrapy爬虫返回302，301，解决方法

def demo():

headers = {'Accept':'xxxx',

'Accept-Encoding':'xxxx',

'Accept-Language':'xxxx',

'Connection':'xxxx',

'Host':'xxxx',

'Upgrade-Insecure-Requests':'x',

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

url = 'https:xxxxx.com'

html = requests.get(url, headers=headers, allow_redirects=False)

return html.headers['Location']

allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。

这是scrapy中解决问题方法1：

在yield里面加上dont_filter=True，解决了这个问题，dont_filter的意思是，如果已经爬取过得url，也就是没有出现问题的url，

自然而然出现问题的url将会再次被传递，这样也就解决了重定向问题。

yield scrapy.Request(url=listUrl[i],callback=self.get_content,meta={'item':item},method='GET',dont_filter=True)

有时候爬取图片获取不到，返回302，我们可以在配置文件settings.py

里面修改重定向：如下：

值加这一行代码：

MEDIA_ALLOW_REDIRECTS =True

ITEM_PIPELINES ={'scrapy.pipelines.images.ImagesPipeline':1,'Moni.pipelines.MoniPipeline': 300,

}

MEDIA_ALLOW_REDIRECTS=True #只有这一行代码，其他的是为了方便查找，加上这一行基本上就能解决了

IMAGES_STORE = './images'