python3爬虫中文乱码_python3爬虫中文乱码之请求头‘Accept-Encoding’：br 的问题

当用python3做爬虫的时候，一些网站为了防爬虫会设置一些检查机制，这时我们就需要添加请求头，伪装成浏览器正常访问。 header的内容在浏览器的开发者工具中便可看到，将这些信息添加到我们的爬虫代码中即可。 ‘Accept-Encoding’：是浏览器发给服务器,声明浏览器支持的编码类型。一般有gzip,deflate,br 等等。 python3中的 requests包中response.text 和 response.content

response.content #字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩 类型：bytes reponse.text #字符串方式的响应体，会自动根据响应头部的字符编码进行解码。类型：str

但是这里是默认是不支持解码br的！！！！

这个不是本文的重点，重点是python3爬虫是如何解决。

第一种：将‘Accept-Encoding’中的：br 去除 这样接受的网页页面就是没有压缩的或者是默认可解析的了。 但是我认为，不好，人家搞出这么牛逼的算法还是要用一下的。

第二种：将使用br压缩的页面解析。 python3 中要导入 brotl 包 这个要自己安装(这里就不介绍了，百度一堆)

下面是爬取智联招聘的网站的

from bs4 import BeautifulSoup import requests import brotli from requests.exceptions import RequestException

def get_one_page(city, keyword, page): ''' 获取网页html内容并返回 ''' paras =