公司的网站最近一直在导数据, 经常没有注意到的时候就出来一些404, 对网站不利, 所以需要检测网站的404, 最简单的就是全站爬一遍了, 但是如果用scrapy去爬的话, 遇到ajax请求这些的还得单写, 所以最终的方案是由后台的同事给出他们计算出来的所有slug的列表, 从这些slug列表中抽出一些进行404检查, 包括这些slug内部的链接也拿出来检查, check的效果还行, 就是速度实在太慢了, 后来非常聪明的小伙伴找到了一种方法是产生请求的时候, 把method设为HEAD, 这样就只返回头部信息了, 不下载body message, 至于速度,等之后再更新吧, 先mark下
yield scrapy.Request(url, method = 'HEAD)