python3爬虫中文乱码,竟是因为Accept-Encoding包含br,另拓展BeautifulSoup用法
一、乱码解决
当用python3做爬虫的时候,一些网站为了防爬虫会设置一些检查机制,这时我们就需要添加请求头,伪装成浏览器正常访问。
header的内容在浏览器的开发者工具中便可看到,将这些信息添加到我们的爬虫代码中即可。
‘Accept-Encoding’:是浏览器发给服务器,声明浏览器支持的编码类型。一般有gzip,deflate,br 等等。
python3中的 requests包中response.text 和 response.content
response.content #字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩 类型:bytes
reponse.text #字符串方式的响应体,会自动根据响应头部的字符编码进行解码。类型:str
但是这里是默认是不支持解码br的!!!!
br 指的是 Brotli,是一种全新的数据格式,无损压缩,压缩比极高(比gzip高的)
第一种解决方法:将‘Accept-Encoding’中的:br 去除
这样接受的网页页面就是没有压缩的或者是默认可解析的了。
'Accept-Encoding': 'gzip,deflate',
第二种解决方法:将使用br压缩的页面解析。
python3 中要导入 brotl 包 这个要自己安装(这里就不介绍了,百度一堆)
二、BeatifulSoup拓展
常用方法
soup = BeautifulSoup(html.text,'lxml')
soup = BeautifulSoup(html.text,'html.parser')
soup = BeautifulSoup(html.content,'html.parser')