python爬虫中由于API引起的意外错误

python爬虫有时候会因为某些网站拒绝个人爬虫的访问而导致爬虫失败。可以通过requests.headers查看下自己在爬虫过程中的“User-Agent”是什么。

 

比如上面这个，其User-Agent是通过requests库进行访问的。我们可以根据requests中的十三个变量中的headers改变User-Agent的值进行访问。

key = {'User-Agent' = 'Mozilla/5.0'}
r = requests.get(url, headers = key)

 Mozilla/5.0是一个比较常见的搜索引擎网站。

这样就可以解决由于API引起的意外错误