python爬虫遇到中文乱码问题(ISO-8859-1)

最新推荐文章于 2024-03-04 16:59:19 发布
最新推荐文章于 2024-03-04 16:59:19 发布
阅读量4.6k 收藏 12
点赞数 4
文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Enexj/article/details/110875674
版权

python爬虫遇到中文乱码(ISO-8859-1)

直接入正题，今天爬虫遇到中文乱码问题，具体大概如下：

ÕбêÈË»òÆäÕбê´úÀí»ú¹¹Ó¦µ±¶ÔÆäÌṩµÄÕб깫¸æµÄÕæʵÐÔ¡¢×¼È·ÐÔ¡¢ºÏ·¨ÐÔ¸ºÔð¡£（这种的字符）

找问题所在，首先查看response的编码问题

response = request.get(url,headers)
print(response.encoding)

输出内容：

这就好办了，直接编码解码(使用utf-8会出现部分字节问题)

response = requests.get(url,headers).text
content = response.encode("iso-8859-1").decode('gbk')

咕咕Gus
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Python网络爬虫出现乱码问题的解决方法
12-24
关于爬虫乱码有很多各式各样的问题，这里不仅是中文乱码，编码转换、还包括一些如日文、韩文 、俄文、藏文之类的乱码处理，因为解决方式是一致的，故在此统一说明。 网络爬虫出现乱码的原因 源网页编码和爬取下来后的编码格式不一致。 如源网页为gbk编码的字节流，而我们抓取下后程序直接使用utf-8进行编码并输出到存储文件中，这必然会引起乱码 即当源网页编码和抓取下来后程序直接使用处理编码一致时，则不会出现乱码; 此时再进行统一的字符编码也就不会出现乱码了 注意区分 源网编码A、 程序直接使用的编码B、 统一转换字符的编码C。 乱码的解决方法 确定源网页的编码A,编码A往往在网页中的
Python爬虫获取网页编码为“ISO-8859-1”，中文乱码
08-13 1383
网页编码为“ISO-8859-1”，中文乱码
乱码问题总结：常见的中文乱码问题
baomingshu的博客
03-04 1150
问题使用cmd命令窗口，运行java命令时候出现中文乱码解决桌面上我的电脑图标—》右击选择属性—》高级系统设置—》高级—》环境变量—》系统变量栏点击新建：框中分别输入如下值打开cmd命令行，运行javac命令，此时不再乱码，成功解决。
Python模拟锟斤拷等各类乱码
小小明-代码实体的专栏
07-06 2万+
一文搞懂各类乱码出现的成因
Python的编码机制，unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等编码之间的转换。
zbyufei的测试专栏
09-01 1万+
1.unicode 缺失转换 如把 "/u5317/u4eac"转化成 gb18030的北京 s="/u5317/u4eac" s=eval("u'%s'"% s) s.encode('gb18030') print s 2.unicode 转换为其它编码(GBK, GB2312等) # -*- coding=gb2312 -*- a=u"中文" a_gb2312
UTF-8、GBK、ISO-8859-1之间的解码和转码
zhblanlan的博客
08-06 6797
编码：将字符或者其他符号编成计算机可以计算处理的二进制0、1数字。 解码：将一系列二进制0、1数字解码成字符或者其他符号(编码的逆向过程)。 测试代码如下： package com.qfedu.test; import java.util.Arrays; public class Test6 { public static void main(String[] args) th...
Python response 乱码
yy的博客
10-14 1583
解决html编码错误(以网站返回gbk编码举例): ''' 参考链接:https://zhuanlan.zhihu.com/p/33237576 ''' ISO-8859-1 当返回头里面有content_type 的时候， 1 如果有charset=xxx，则encoding的编码为chatset的值。 2 如果只是text/html,则编码为ISO-8859-1 3 如果什么都...
Java Request/Response中文乱码问题的解决方案
xiongyingli博客
02-19 1241
Request/Response中文乱码问题的解决方案 一、Request中文乱码问题以及解决方案 问题： 在填写表单数据时，难免需要输入中文，如用户名和公司名称时，当输入的用户名为中文时，出现了“é??é??..”的乱码 原因： 默认使用错误码表 ISO-8859-1 解决方案： 1.POST请求方式 HttpServletRequest 接口中提供了一个 setCharacterEncoding() 方法，该方法用于设置 request 对象的解码方式。 request.setCharacterEnco
中文响应乱码解决【JavaWeb】
bug生成师
06-10 449
乱码的原因 ​ 响应体的默认编码方式为：ISO8859-1 解决方案 方法一 设置响应体的编码为gbk：resp.setCharacterEncoding(“gbk”); 只能解决部分乱码问题 方法二 resp.setCharacterEncoding(“utf-8”); 设置响应体的编码为utf-8, resp.setContentType(“text/html;charset=utf-8”); 设置响应体的编码为utf-8,并通知浏览器以utf-8的方式进行解码。可以解决全部乱码问题 ...
python解决中文乱码的方法
qq_36606793的博客
01-20 307
手动将response设置为utf-8编码 response=requests.get(url) response.encoding='utf-8' page_text=response.text 将字符串先进行iso-8859-1编码，再进行gbk解码 str=str.encode('iso-8859-1').decode('gbk') str=str.encode("gbk", 'ignore').decode("gbk", "ignore") ...
Python爬虫示例之distribute-crawler-master.zip
最新发布
05-11
Python爬虫示例之distribute_crawler-master.Python爬虫示例之distribute_crawler-master.Python爬虫示例之distribute_crawler-master.Python爬虫示例之distribute_crawler-master.Python爬虫示例之distribute_...
Python爬虫示例之bilibili-user-master.zip
05-11
Python爬虫示例之bilibili-user-masterPython爬虫示例之bilibili-user-masterPython爬虫示例之bilibili-user-masterPython爬虫示例之bilibili-user-masterPython爬虫示例之bilibili-user-masterPython爬虫示例之...
python爬虫示例之baidu-music-spider-master.zip
05-11
python爬虫示例之baidu-music-spider-masterpython爬虫示例之baidu-music-spider-masterpython爬虫示例之baidu-music-spider-masterpython爬虫示例之baidu-music-spider-masterpython爬虫示例之baidu-music-spider-...
python爬虫开发题答案及题目-100(1).zip
04-19
python爬虫开发题答案及题目-100(1).zip
Python爬虫-笔趣阁小说爬虫-自动爬取小说
01-10
利用 Python 爬虫（BeautifulSoup + requests）自动爬取笔趣阁的小说，实现小说自由
python爬虫解决gbk乱码问题
weixin_30315723的博客
03-15 442
今天尝试了下爬虫，爬取一本小说，忘语的凡人修仙仙界篇，当然这样不好，大家要支持正版。 　　爬取过程中是老套路，先获取网页源代码　　 # -*- coding:UTF-8 -*- from bs4 import BeautifulSoup import requests if __name__ =='__main__': url='http://www.biquge.co...
ISO-8859-1中文乱码问题
热门推荐
cxyu的博客
10-14 2万+
byte[] buf_gbk = "中文".getBytes("gbk");                        String sIso88591 = new String(buf_gbk, "iso-8859-1");                             byte[] buf_iso88591 = sIso88591.getBytes("iso-8859-1")
python处理文乱码的两种方式
巴胡子
04-26 4615
最近在写爬虫项目，遇到出现中文乱码的问题，汇总一下总共两种处理方式 这样与那样的乱码很头疼，但是以下方法基本可以解决 python处理中文乱码的问题： 方式一：将要处理的乱码对象设置 encoding = utf-8'' response = requests.get(url=url, headers=headers) # response.encoding = 'utf-8' 方式二：先设置encode的编码为iso-8859-1，再进行encoding的utf-8的设
python中iso-8859-1中文乱码
07-28
在Python中，ISO-8859-1是一种字符编码，也称为Latin-1。它是一个单字节编码，可以表示256个字符，其中包括英文字母、数字和一些特殊字符。然而，ISO-8859-1并不支持中文字符，因此如果你尝试使用ISO-8859-1编码来处理中文文本，很可能会导致乱码问题。 要正确处理中文字符，你可以考虑使用其他更适合的字符编码，比如UTF-8。UTF-8是一种多字节编码，可以表示几乎所有的字符，包括中文字符。在Python中，默认的字符串编码就是UTF-8。如果你在处理中文文本时遇到乱码问题，可以尝试使用UTF-8编码来解决。 例如，如果你从文件中读取包含中文的文本，可以使用以下代码： ``` with open('filename.txt', encoding='utf-8') as f: text = f.read() ``` 这样就可以以UTF-8编码读取文件中的中文文本，避免乱码问题。同样，在写入文件时，也可以指定编码为UTF-8： ``` with open('filename.txt', 'w', encoding='utf-8') as f: f.write(text) ``` 这样就可以以UTF-8编码将包含中文的文本写入文件中。记住，在处理中文文本时，始终使用适当的字符编码是非常重要的，以避免乱码问题的出现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值