java爬去淘宝数据链接重定向_scrapy爬取天猫被重定向302问题

importscrapy

classtmSpider(scrapy.Spider):

name ='tianmao'

defstart_requests(self):

# 全部url

urls = ['https://xxxx.tmall.com/xxx']

foruinurls:

yieldscrapy.Request(u,self.parse,headers=headers)

defparse(self, response):

result = response.text

print('start parse...')

print(result)

以上是爬虫代码，在运行时出现页面被302跳转到登录页面，无法获取目标网站内容。

我的解决方法是，在Request方法里加入headers，同时在settings.py里禁用cookies：

# Disable cookies (enabled by default)

COOKIES_ENABLED =False

我的理解是，如果没有自定义cookies而 使用scrapy自带的cookies，会被网站识别为机器人，因此如果爬虫不需要使用cookies，那就先把它禁掉。