在爬取量很大或者多个url有Cookie承接关系时,有时候会出现keyError报错,其实本身没有错误,只是(我解释不来,太菜了,啊哈哈哈哈)。
我这解决办法(不知道适不适用你们):
在获取响应中的数据时,使用get方法获取数据程序会更稳定dict.get(key)
如下图Cookie为一开始就定义的变量
Cookie{
‘JSESSIONID’:‘’
}
所以使用Cookie[key]不容易出现异常,但是requests.utils.dict_from_cookiejar(response4.cookies).get(‘JSESSIONID’)中,是获取响应数据字典中的数据,这些数据不像Cookie一样是一开始就定义的,是变换的,所以要使用dict.get(key)方法获取字典中的数据,这样不容易造成异常
当爬取量很大时,获取爬虫响应数据字典数据KeyError异常问题
最新推荐文章于 2021-06-15 17:52:49 发布