通过scrapy爬取此网站时,返回的response的请求头中,包含重复的数据,所以会报错。而通过requests爬取此网站时,请求头中却不包含重复信息,requests可能有查重的功能,自动把重复信息给剔除了。