Python爬虫 伪装成浏览器访问 及fake_useragent库使用方法

在编写爬虫进行网页数据的时候，很多网站有反爬机制，对于不同的网站，破解反爬的方法不同，这里的一种方法是模拟成浏览器访问
下面以哔哩哔哩举例

1.使用平时用的浏览器自带的user-agent

首先在浏览器打开b站，右键，点击检查

然后点击network–>找到bilibili.com–>点击headers
在最下面可以看到user-agent，这个就是浏览器的请求头
注意：如果点击network没有看到bilibili.com，按ctrl +r刷新一下网页

然后使用request.get请求网页信息时，添加刚才获得的header

import requests
headers ={'User-Agent':
              'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
current_url='https://www.bilibili.com/'
strhtml = requests.get(current_url, headers= headers)

2.使用fake_useragent库伪装请求头

首先需要安装fake_useragent库
使用示例：

from fake_useragent import UserAgent
import requests
ua=UserAgent()
#网址
url="https://www.bilibili.com/"
#fake_useragent生成的随机请求头
headers={"User-Agent":ua.random}
response=requests.get(url=url,headers=headers)
#响应体内容
print(response.text)