python的requests.get()方法获取百度搜索结果页面失败的问题

最新推荐文章于 2024-07-20 11:00:00 发布

拉链小子

最新推荐文章于 2024-07-20 11:00:00 发布

阅读量9.8k

点赞数 6

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/jessi212/article/details/93383795

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

昨天学到python的requests模块，准备获取一下百度搜索的结果，然后把相关链接打开，在get()结果页的时候一直取不到，
keyword=input(‘输入要搜索的关键字:’)
res=requests.get('https://www.baidu.com/s?wd=’+keyword)
取出来的html文件是这样的

<html>
<head>
 <script>
  location.replace(location.href.replace("https://","http://"));
 </script>
</head>
<body>
 <noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>

查了一下别人的解决方法，都没大看懂，最后问了朋友才解决
原因是一开始请求消息里没带浏览器信息，百度不识别，所以不响应。

加一个headers，把浏览器信息写进去：
headers={‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36’}
res = requests.get('https://www.baidu.com/s?wd=’+keyword,headers=headers)

获取headers的方法：
打开浏览器（我用的谷歌，别的应该也差不多），F12，随便发个请求，然后如下图获取User-Agent

从浏览器中获取请求消息的headers
把headers加到参数里去就可以了，再发请求可以成功获取百度搜索结果页的html，截了一部分
成功取出html