同样的请求方式返回的页面却不一样,
经过对比发现两者的请求头完全不一样
这个时候用response.request.headers 打印出两边的请求头
最好是用
def start_requests(self):
yield scrapy.Request('url', dont_filter=True,cookies={'xx':'xx','xx':'xx'})
def parse(self, response):
print(response.text)
print(response.request.headers)
重写一下请求再看返回的页面