Python requests彻底解决乱码问题

最新推荐文章于 2024-08-16 14:40:38 发布

Mr.蓝

最新推荐文章于 2024-08-16 14:40:38 发布

阅读量1.3k

点赞数 2

分类专栏：爬坑日记文章标签： python 乱码 request 爬虫

本文链接：https://blog.csdn.net/qq_15827941/article/details/111920640

版权

爬坑日记专栏收录该内容

12 篇文章 0 订阅

订阅专栏

爬虫做着做着总会遇到乱码问题,之前一般都是直接去看网页返回的编码,然后再根据网页编码手动去替换response的编码.最后在某个网站上看到
response.encoding=response.apparent_encoding
当时不管三七二十一直接就放在代码里正常运行就行了，也不管为啥这样就不会乱码，最后在今天也会出现乱码问题，所以自己仔细查看了一下问题.
在这里插入图片描述
response.encoding的编码就是response里headers里的content-type字段的charset 当返回没有content-type字段时则默认为ISO-8859-1
response.apparent_encoding内部实现是将response.content 使用python的模块chardet的detect方法来判断其编码但是有时候也会出现判断错误，至少在我这时这样的

所以最后的解决办法为:

response.encoding = response.apparent_encoding if response.encoding == 'ISO-8859-1' else response.encoding

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Mr.蓝

关注关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

python系列：requests爬虫【中文乱码】的3种解决方法

weixin_54626591的博客

05-06

751

requests爬虫【中文乱码】的3种解决方法

python的requests响应请求，结果乱码，即使设置了response.encoding也没有用的解决方法

十一姐的博客

09-24

1427

获取的内容的编码方式。

参与评论您还未登录，请先登录后发表或查看评论

python出现中文乱码？response.text 和response.content有什么区别？

jyqkl的博客

10-11

976

requests.content返回的是二进制响应内容，而requests.text则是根据网页的响应来猜测编码，如果服务器不指定的话，默认编码是"ISO-8859-1"

xpath解析实战——爬取《少有人走的路：心智成熟的旅程》

最新发布

2302_79795489的博客

08-16

282

同理，content = tree1.xpath("/html/body/div[2]/div[4]/div//text()")得到的也是列表，所以在写入文件里要这样写。因为li.xpath("./a/text()")返回的是列表，即使只有一个元素，也要加上[0]才能取列表里的值。f.write(i.strip()) 或者写f.write(content[0].strip())1、为什么title=li.xpath("./a/text()")[0].strip()要加[0]？时，遇到了无法编码的字符。

解决通过python的requests模块获取文本内容出现乱码的问题

m0_55407333的博客

03-01

1726

解决诸如æ´å¤äº§å乱码方案一：在响应对象前加入response.encoding='utf-8'，例如 response.encoding='utf-8' print(response.text) 一般通过以上代码可以解决大部分的乱码。方案二：通过chardet分析二进制响应数据的编码类型，让response.encoding=’求得编码格式‘生效，最后解决乱码问题，例如： import chardet response是响应对象 response.encoding=chardet.

python爬取小说，调用request库时，reponse.text显示乱码的解决方法

m0_73161973的博客

01-23

1491

python调用request库时，reponse.text显示乱码的解决方法

爬虫第一课——教你学会使用requests库

KK_2018的技术博客_程序员不止是程序员

05-08

2906

前言在requests库可以说是爬虫中必备的一个第三方库（在python2版本中常用python的内置库urllib，在python3中也常用urllib库的一些模块方便开发）。由于requests库是第三方库，所有需要安装 pip install requests requests库是作用简单来说就是：向要爬取的目标网站发送请求，再获取网站的响应数据，然后可以对这些响应数据进行简单处理。一、发送请求的一些方式发送请求的方式有七种，爬虫常用的是GET和POST。（一）GET

python中requests爬去网页内容出现乱码问题解决方法介绍

12-25

这篇博客要解决的问题是如何避免在使用requests的时候出现乱码。 import requests res=requests.get("https://www.baidu.com") print res.content 以上就是使用requests进行简单的网页请求数据的方式。但是很容易...

解决python3中的requests解析中文页面出现乱码问题

09-19

总的来说，解决requests在Python 3中解析中文页面出现乱码问题的关键在于正确设置`response.encoding`属性。在实际开发中，应对不同编码的网页有充分的认识，合理处理编码问题，确保数据的正确解析。在编写爬虫或...

程序解码错误-由python的requests.post 请求结果乱码引起的思考

pbdatax的博客

02-14

778

最近，在使用python的requests.post的时候，不论结果如何处理，得到的都是乱码。然而，问题依旧!!!这时候，查看一下response返回结果的header信息里面的**{‘Content-Encoding’: ‘br’}** 这个引起了我的注意。于是就查了一下br是个什么东东？？原来**“br”**是一种新的压缩算法，全称是Brotli。我想，会不会是因为客户端不支持“br"这种算法导致的乱码呢？

Python 乱码原理及其解决办法

qq_37453155的博客

04-26

8209

Python 乱码原理及其解决办法 HTML 解析爬虫编码解码乱码

Python爬虫获取网页编码为“ISO-8859-1”，中文乱码

08-13

1447

网页编码为“ISO-8859-1”，中文乱码

爬虫爬取的网页乱码 response.encoding = "utf-8" 来解决

abcdasdff的博客

08-25

2万+

使用requests爬数据的时候，发现打印或者保存到文件中的中文显示为Unicode码(其实我也不知道是什么码,总之乱码)。爬取某网 response= requests.get(“http://www.xxxxx.com/“) 我们都知道response有 text 和 content 这两个property, 它们都是指响应内容，但是又有区别。我们从doc中可以看到： text的d...

Python中request请求得到的response的属性问题

成功唯有积累，没有奇迹。

11-05

3万+

Python中request请求得到的response,即通过request得到的数据： import requests response = requests.get("https://www.jd.com/") response 的属性返回状态码 response.status_code http请求的返回状态，2XX 表示连接成功，3XX 表示跳转 ,4XX 客户端错误 , 500 ...

爬取人民日报_python - 爬取人民日报的评论员文章，碰到问题了，求解答。

weixin_39628405的博客

12-24

383

问题新手，在学习python爬虫，环境是python3.4，想爬取人民日报评论员文章，现在只怕去了一个网页，代码如下，import requestsfrom bs4 import BeautifulSoupimport remyUrl = "http://cpc.people.com.cn/pinglun/n1/201/0613/c78779-28428425.html"response = r...

爬虫入门(1)

weixin_30567471的博客

10-01

133

Requests库入门我的个人博客 requests Requests库的7个主要方法方法说明 requests.request() 构造一个请求，支撑以下各方法的基本方法 requests.get() 获取HTML网面的方法 requests.head() 获取HTML网页头部信息的方法 requests.post() 向HTML网页提交POST请求的方法 re...

解决Requests中文乱码