python3爬虫中文乱码,竟是因为Accept-Encoding包含br，另拓展BeautifulSoup用法

python3爬虫中文乱码,竟是因为Accept-Encoding包含br，另拓展BeautifulSoup用法

一、乱码解决
当用python3做爬虫的时候，一些网站为了防爬虫会设置一些检查机制，这时我们就需要添加请求头，伪装成浏览器正常访问。
header的内容在浏览器的开发者工具中便可看到，将这些信息添加到我们的爬虫代码中即可。
‘Accept-Encoding’：是浏览器发给服务器,声明浏览器支持的编码类型。一般有gzip,deflate,br 等等。
python3中的 requests包中response.text 和 response.content

response.content #字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩 类型：bytes
reponse.text #字符串方式的响应体，会自动根据响应头部的字符编码进行解码。类型：str
但是这里是默认是不支持解码br的！！！！
br 指的是 Brotli，是一种全新的数据格式，无损压缩，压缩比极高（比gzip高的）

第一种解决方法：将‘Accept-Encoding’中的：br 去除
这样接受的网页页面就是没有压缩的或者是默认可解析的了。

 'Accept-Encoding': 'gzip,deflate',

第二种解决方法：将使用br压缩的页面解析。
python3 中要导入 brotl 包 这个要自己安装（这里就不介绍了，百度一堆）

二、BeatifulSoup拓展

常用方法

soup = BeautifulSoup(html.text,'lxml')

soup = BeautifulSoup(html.text,'html.parser')

soup = BeautifulSoup(html.content,'html.parser')