解决Requests库抓取网页中文输出乱码的问题

今天在做爬虫的简单练习时候遇到一个输出乱码的问题：

经查，当你收到一个响应时，Requests会猜测响应的编码方式，用于在你调用 Response.text 方法时 对响应进行解码。Requests首先在HTTP头部检测是否存在指定的编码方式，如果不存在，则会使用 charade 来尝试猜测编码方式。只有当HTTP头部不存在明确指定的字符集，并且 Content-Type 头部字段包含 text 值之时， Requests才不去猜测编码方式。在这种情况下， RFC 2616 指定默认字符集 必须是 ISO-8859-1 。Requests遵从这一规范。如果你需要一种不同的编码方式，你可以手动设置 Response.encoding 属性，或使用原始的 Response.content 。

试了下：

我们只需要手动修改Response.encoding属性即可解决该问题：

if req.encoding == 'ISO-8859-1':
    encodings = requests.utils.get_encodings_from_content(req.text)
    if encodings:
        req.encoding = encodings[0]       # 设置成response中返回的html header标签里设置的编码
    else:
        req.encoding = req.apparent_encoding # 设置成response headers 里设置的编码

最终结果显示如下：

可以看到中文显示正常了。