一、网页分析
爬取这个网页,将整个网页的html源码保存到本地
二、代码实现与步骤
import requests
#1、确定url
base_url = 'https://www.baidu.com/'
#2、准备参数
#params字典
#请求头字典
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
}
#3、发送请求获取响应
#问题:获取到的响应内容不正确。
#你发送的请求就是有问题的。
#客户端请求:请求行,请求头,空行,请求数据。
response = requests.get(base_url,headers = headers)
print(response.content.decode('utf-8'))
三、结果分析
能够得到与百度首页一样的源码
如果不适用headers,则获取的内容错误
header
user-agent 客户端标识,伪装成浏览器