使用scrapy.Request或者scrapy.FormRequest时,当请求需要带上Cookie首部的时候,直接在headers里添加Cookie是错误的,通过Fiddler或者打印response.request.headers会发现,请求时根本没带上自定义的Cookie首部。查阅官方文档:
正确的做法是构造一个cookies的键值对字典,然后传入cookies参数,这样scrapy就会根据cookies参数添加Cookie请求头了,可见对API的误解可能会造成错误的使用。
参考:
https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Request
https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.FormRequest