python 爬虫 添加请求头headers

有时候的请求网页内容时,会发现无论通过GET,POST以及其他请求方式,都会出现403错误。这种现象多数为服务器拒绝了您的访问,那是因为这些网站为了防止恶意采集信息,所使用的反爬虫设置。此时可以通过模拟浏览器的头部信息来进行访问,这样就能解决以上反爬设置的问题。代码如下:

import requests

url = 'https://www.baidu.com'#创建需要爬取网页的地址
#创建头部信息
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
response = requests.get(url, headers=headers)#发送网络请求
print(response.status_code)#打印响应状态码 如果等于200说明请求成功

输出结果:
200

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页