scrapy请求， 只返回头部信息

公司的网站最近一直在导数据， 经常没有注意到的时候就出来一些404， 对网站不利， 所以需要检测网站的404， 最简单的就是全站爬一遍了， 但是如果用scrapy去爬的话， 遇到ajax请求这些的还得单写， 所以最终的方案是由后台的同事给出他们计算出来的所有slug的列表， 从这些slug列表中抽出一些进行404检查， 包括这些slug内部的链接也拿出来检查， check的效果还行， 就是速度实在太慢了， 后来非常聪明的小伙伴找到了一种方法是产生请求的时候， 把method设为HEAD, 这样就只返回头部信息了， 不下载body message， 至于速度，等之后再更新吧， 先mark下

yield scrapy.Request(url, method = 'HEAD)