爬虫碰到状态码412
近期在使用python的requests库爬取网页时,碰到返回状态码为412的情况
状态码412含义为:Precondition Failed,服务器在验证在请求的头字段中给出先决条件时,没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息(请求头字段数据)中设置先决条件,以此避免该请求方法被应用到其希望的内容以外的资源上。
一、尝试一:添加headers
判断出问题出在请求头上以后,下面我们尝试把网页的所有请求头都带上,注意:这里带的是全部字段,尤其是cookie字段。
添加cookie有2种方式:
1. 添加在headers里
headers = {
"User_Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
"Cookie" : "复制粘贴相应的cookie "
}
response = requests.get(url, headers = headers )