python爬虫遇到中文乱码问题(ISO-8859-1)

最新推荐文章于 2024-08-08 17:11:41 发布

咕咕Gus

最新推荐文章于 2024-08-08 17:11:41 发布

阅读量4.9k

点赞数 4

文章标签： python 爬虫

本文链接：https://blog.csdn.net/Enexj/article/details/110875674

版权

本文介绍了在Python爬虫中遇到的ISO-8859-1编码导致的中文乱码问题及解决方案。通过检查响应编码并进行适当的编码解码转换，如从ISO-8859-1转为GBK，可以成功解决乱码，确保数据的正确读取。

摘要由CSDN通过智能技术生成

python爬虫遇到中文乱码(ISO-8859-1)

直接入正题，今天爬虫遇到中文乱码问题，具体大概如下：

ÕÐ±êÈË»òÆäÕÐ±ê´úÀí»ú¹¹Ó¦µ±¶ÔÆäÌá¹©µÄÕÐ±ê¹«¸æµÄÕæÊµÐÔ¡¢×¼È·ÐÔ¡¢ºÏ·¨ÐÔ¸ºÔð¡£（这种的字符）

找问题所在，首先查看response的编码问题

response = request.get(url,headers)
print(response.encoding)

输出内容：

这就好办了，直接编码解码(使用utf-8会出现部分字节问题)

response = requests.get(url,headers).text
content = response.encode("iso-8859-1").decode('gbk')

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

咕咕Gus

关注关注

4
点赞
踩
15

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Python的编码机制，unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等编码之间的转换。

zbyufei的测试专栏

09-01

1万+

1.unicode 缺失转换如把 "/u5317/u4eac"转化成 gb18030的北京 s="/u5317/u4eac" s=eval("u'%s'"% s) s.encode('gb18030') print s 2.unicode 转换为其它编码(GBK, GB2312等) # -*- coding=gb2312 -*- a=u"中文" a_gb2312

解决Python爬虫中文乱码(gbk)

weixin_41005658的博客

11-26

2233

解决Python爬虫中文乱码 乱码问题是很常见的一种事情，记录一下解决python爬虫中的乱码问题，后续遇到，还会继续补充。我是爬得笔趣看小说网址 https://www.bqkan.com/25_25963/ 爬取小说章节题目的时候出现乱码查看网页源码head对应的编码如图所示为gbk 然后利用requests库的方法查看默认输出的编码类型可以看到编码为ISO-8859-1 然后在相应的文本位置加入encode(‘ISO-8859-1’) 中文乱码解决 ...

3 条评论您还未登录，请先登录后发表或查看评论

乱码编码方式解决 gbk ISO8859-1 utf8 编码

05-24

乱码编码方式解决 gbk ISO8859-1 utf8 编码乱码编码方式解决 gbk ISO8859-1 utf8 编码

字符乱码的5大原因及解决方法一览！

热门推荐

qq_40205002的博客

04-19

4万+

爬一个网站时出现了乱码 è§�æ½®å¥�å®¸åº�1ã��2ã��9ã��10ã��13å�·æ¥¼ html = requests.get(url=start_urls, headers=headers).text html = html.encode("ISO-8859-1") html = html.decode("utf-8") response = et...

python爬虫网页乱码问题ISO-8859-1和Utf-8

Al_shawn的博客

12-19

1737

爬苹果日报新闻时用requests解析到的网页是乱码用了下面这个就解决了 title_content.encode('ISO-8859-1').decode('utf-8') 繁体中文可以正常显示了，但是还没搞懂为什么之后记得研究一下参考下面几篇有点略懂但还不是很清晰，之后得好好研究一下编码问题 https://www.jianshu.com/p/e487e89c2a4e ht...

Python爬虫基于lxml解决数据编码乱码问题

12-17

这里，`encode('ISO-8859-1')` 将XPath选取的文本以ISO-8859-1编码转换为字节，然后 `decode('UTF-8')` 将字节按照UTF-8编码解码，从而得到正确的中文字符。在实际应用中，为了确保程序的健壮性，还可以使用更通用...

Python 爬虫数据乱码解决方式

weixin_48826751的博客

03-10

6978

数据乱码大多来自于编码格式不支持中文显示，解决方式主要有如下两个： 1.设置对响应对象的编码格式 2.设置爬取到的数据编码格式及解码格式

Python爬虫解决乱码问题

liuzh的博客

06-04

4691

问题原因：爬取的所有网页无论何种编码格式，都转化为utf-8格式进行存储，与源代码编码格式不同所以出现乱码。目前大部分都是utf-8格式或者ISO-8859-1，一部分是gbk格式（会出现乱码），国内网页还没有看到别的编码格式，欢迎补充指正！简单科普一下：　　 UTF-8通用性比较好，是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。 U...

python 编码

m0_68682144的博客

11-24

273

UTF-8 gbk unicode适用场景

python解决中文乱码的方法

qq_36606793的博客

01-20

366

手动将response设置为utf-8编码 response=requests.get(url) response.encoding='utf-8' page_text=response.text 将字符串先进行iso-8859-1编码，再进行gbk解码 str=str.encode('iso-8859-1').decode('gbk') str=str.encode("gbk", 'ignore').decode("gbk", "ignore") ...

Python 乱码原理及其解决办法

qq_37453155的博客

04-26

8122

Python 乱码原理及其解决办法 HTML 解析爬虫编码解码乱码

【原创】python encoding中文编码

张志鹏的博客

03-20

3485

看一下python的字符编码，我琢磨了半天，这个好像没什么用啊，无论设置哪种编码方式，结果都一样的。设置方式如下：在python的lib目录下site-packages目录中，新建sitecustomize.py， C:\Python27\lib\site-pachages\sitecustomize.py 输入以下内容，保存关闭。 #sitecustomize.py # this fil

python学习笔记（9）——数据乱码的处理之重新编码和解码

Ama_tor的博客

02-03

1411

代码练习： import requests url='https://www.baidu.com' code=requests.get(url).encoding#获取网页源代码的编码方式为ISO-8859-1 res=requests.get(url).text #print(code):此时可以先运行，得出通过python获得网页源码的编码方式为：ISO-8859-1 print('直接获取：'+res) try:#以下为通用代码，不够简介 res=res.encode('ISO-8859

解决爬虫response.text后中文的乱码问题

weixin_30263073的博客

05-28

1065

有两种解决方式 1.使用response.encoding = 'utf-8' 2.使用.encode('iso-8859-1').decode('gbk') 爬取美女壁纸缩略图并解决标题乱码问题 http://pic.netbian.com/4kmeinv/ http://pic.netbian.com/4kmeinv/index_2.html import requests from lx...

UTF-8、GBK、ISO-8859-1之间的解码和转码

zhblanlan的博客

08-06

6960

编码：将字符或者其他符号编成计算机可以计算处理的二进制0、1数字。解码：将一系列二进制0、1数字解码成字符或者其他符号(编码的逆向过程)。测试代码如下： package com.qfedu.test; import java.util.Arrays; public class Test6 { public static void main(String[] args) th...

Python response 乱码

yy的博客

10-14

1618

解决html编码错误(以网站返回gbk编码举例): ''' 参考链接:https://zhuanlan.zhihu.com/p/33237576 ''' ISO-8859-1 当返回头里面有content_type 的时候， 1 如果有charset=xxx，则encoding的编码为chatset的值。 2 如果只是text/html,则编码为ISO-8859-1 3 如果什么都...

Gb2313转化iso-8859-1

05-09

GB2313和ISO-8859-1是两种不同的字符集，它们之间的字符编码并不一致，因此不能直接进行转换。需要先将GB2313编码的字符转化为Unicode编码，再将Unicode编码的字符转化为ISO-8859-1编码。以下是Python代码示例： ```python # -*- coding: utf-8 -*- # GB2313编码的字符串 gb2313_str = '中文' # 将GB2313编码的字符串转化为Unicode编码 unicode_str = gb2313_str.decode('gb2312') # 将Unicode编码的字符串转化为ISO-8859-1编码 iso8859_str = unicode_str.encode('iso-8859-1') print iso8859_str # 输出 b'\xd6\xd0\xce\xc4' ``` 在上面的代码中，使用了Python的内置函数`decode()`和`encode()`进行编码转换。其中，`decode()`函数将GB2313编码的字符串转化为Unicode编码，`encode()`函数将Unicode编码的字符串转化为ISO-8859-1编码。最终输出的结果是一个字节串，可以使用`print`语句输出。