python res函数_怎么用res函数解决python爬虫的中文乱码

怎么用res函数解决python爬虫的中文乱码

发布时间：2020-11-21 09:31:16

来源：亿速云

阅读：101

作者：小新

小编给大家分享一下怎么用res函数解决python爬虫的中文乱码，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨吧！

我们知道Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当你访问 r.text 之时，Requests 会使用其推测的文本编码。你可以找出 Requests 使用了什么编码，并且能够使用r.encoding 属性来改变它。接下来，我们一起通过resquests的一些用法，来看看Requests 会基于 HTTP 头部对响应的编码方式。print(res.encoding)  #查看网页返回的字符集类型

print(res.apparent_encoding) #自动判断字符集类型

输出结果为：

可以发现Requests 推测的文本编码(也就是网页返回即爬取下来后的编码转换)与源网页编码不一致，由此可知其正是导致乱码原因。

解决方法

根据原因来找解决方法，就非常简单了。

方法一：直接指定res.encodingimport requests

url = "http://search.51job.com"

res = requests.get(url)

res.encoding = "gbk"

html = res.text

print(html)

方法二：通过res.apparent_encoding属性指定import requests

url = "http://search.51job.com"

res = requests.get(url)

res.encoding = res.apparent_encoding

html = res.text

print(html)

看完了这篇文章，相信你对怎么用res函数解决python爬虫的中文乱码有了一定的了解，想了解更多相关知识，欢迎关注亿速云行业资讯频道，感谢各位的阅读！