利用Requests库获取网页源代码

代码如下（这里我利用Microsoft Edge的用户代理）：

import requests

header = {‘User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0 ’}

url = ‘https://www.baidu.com/s?Rtt=4&tn=new&word=阿里巴巴’

res = requests.get(url ,headers=header).text

print(res)

在PYCharm获取的代码，也可使用快捷键【Ctrl+F】进行搜索，如图搜“阿里巴巴”，得结果如下：

可能会遇到的问题:

新手在初次尝试使用Request库获取网页源代码的时候。如果没有设置requests.get()函数的headers参数，那么浏览器不会认可python所发出的请求，其代码及运行的结果如下：

import requests

url = ‘https://www.baidu.com/s?Rtt=4&tn=new&word=阿里巴巴’

res = requests.get(url).text

print(res)

因为大多数网站都只认可浏览器所发出的访问请求，所以只是我们就需要使用headers参数来模仿浏览器发送请求，headers中的User-Agent值反映了访问者所使用的浏览器种类，它的值为浏览器的用户代理值（如备注所示），代码如下：

header = {‘User-Agent’: ’Mozilla/5.0 (Windows NT 10.0 ;Win64;x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198  Safari/537.36 ’}

res = requests.get(url ,headers=header).text

备注:

headers参数:是一个字典，有一个键值对，键名为’User-Agent’,值为’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0’(在浏览器中输入“about:version”，在弹出的网页中找到“用户代理”，它的内容就是“User-Agent”,如下为360浏览器、华为浏览器和Microsoft Edge的用户代理)