在测试爬虫时，使用requests编写脚本能正常获取数据，但相同代码在Scrapy中遇到406错误或空响应。原因是Scrapy对headers的处理方式不同，自动处理accept和cookie。通过修改headers中accept的格式并单独处理cookie，问题得以解决，成功获取到数据。
今天测试某个平台的爬虫时使用requests正常写了个测试脚本把各种参数逆向出来以后发起请求可以正常得到数据，如图所示：
但是一摸一样的代码在scrapy中就会出现406情况，或者响应状态吗是200但是数据却为空
去搜索了半天也没找到结果，后面去研究一下scrapy框架发现scrapy.requests和直接的requetsts还是有区别的，scrapy中会对headers中的accept和cookie自动处理，所以headers中的cookie要单独拿出来，还有accept也要改写，rtequests中的headers是这样的：
应该将headers中的accept改写成这样：
改写以后再次发起请求成功返回数据：
2254
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
