- 博客(1)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 加强对HEAD 请求的处理（转贴）
加强对HEAD 请求的处理 <!---->最近发现有些搜索引擎爬虫在抓取数据的时候，先是通过一个HEAD 请求获取response的header 信息，然后再通过GET 请求获取response 的body信息（即页面的内容）——先发送HEAD 请求是为了获得页面的更新时间(即response header 中的Last-Modified 域），用于判断自从上一次该页面被收入索引库
2005-04-10 12:42:00
5880
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人