爬取中国土地网时出现304情况
304对应描述:客户端已经执行了GET,但文件未变化
这是因为该网站采取了强缓存验证, 服务器将要爬取的内容在本地做了缓存,
再次请求的时候,会首先检查本地缓存中是否已存在,如果有就返回304
解决方法:
在requests headers中,禁用删除If - Modified-Since 和If-None-Natch 这两项,服务器是通过检查这两项来判断是否是已经做了缓存。
python3爬虫-遇到304的解决方式
最新推荐文章于 2023-11-29 16:11:26 发布