python读取中编码错误（illegal multibyte sequence ）

最新推荐文章于 2023-06-19 17:38:31 发布
最新推荐文章于 2023-06-19 17:38:31 发布
阅读量3.6w 收藏 31
点赞数 14
分类专栏： python学习 文章标签： 编码 python 文件读写
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiasudu1234/article/details/71173281
版权

读取中文txt文件时，经常会出现: ‘gbk' codec can't decode bytes in position 31023: illegal multibyte sequence。

主要讲一种情况就是文章中含有utf-8或gbk无法编码的字符情况。

好多人都说加入'ignore'，但一直都没有说清楚是在open函数中加入，还是在.read()中加入（其实是在open函数中加入，如下面例子）。

'gb1830'所含的比'gbk'要多，因此下面代码段采用了'gb1830'。


cf=open("D:\A仲敏2015\python_code\天龙八部.txt",encoding='gb18030',errors='ignore')
cf1=cf.read()


小木头1209
关注
  • 14
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
python3访问sina首页中文的处理方法
01-21
复制代码 代码如下:“””如果只用普通的import urllib.requesthtml = urllib.request.urlopen(“http://www.sina.com”).read()print(html.decode(‘gbk’)) 出现下面的错误builtins.UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x8b in position 1: illegal multibyte sequence 怎么办？原来是有的网站将网页用gzip压缩了 。请看下面的代码 建议大家用python2import urllib2fro
python文件读取失败怎么处理
12-17
在读取文件时候比如读取 xxx.csv 时候 可能报编码错误 类似于 ‘xxx’ codec can’t decode byte 0xac in position 211: illegal multibyte sequen id_list = [] with open('E:/work_spider/xxx/xx.csv', "r", encoding="utf-8") as csvfile: csvReader = csv.reader(csvfile) for content in csvReader: content = str(content) if 'l
python爬取表格 ‘gbk’ codec can’t encode character ‘\U0001f370’ in position 5: illegal multibyte sequence
12-22
在写爬虫，往csv写入文件时候报错 'gbk' codec can't encode character '\U0001f370' in position 5: illegal multibyte sequence 去一看名字我懵逼了是个emoji？？？？ 原来代码是这么写的 设置csv文件位UTF-8,代码改为 for i in b: persons = str(i).replace('u','').replace('\'','') print(persons) wit
Python3中编码与解码之Unicode与bytes的讲解
01-01
今天玩Python爬虫，下载一个网页，然后把所有内容写入一个txt文件中，出现错误； TypeError: write() argument must be str, not bytes AttributeError: ‘URLError’ object has no attribute ‘code’ UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ inposition 5747: illegal multibyte sequence 一看就是编码问题，不懂，度娘上面这方面讲得不多，感觉没说清楚，自己研究了一晚上，
python中open文本写入字符串时编码报错问题
12-22
console报错信息：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u2022’ in position 7636: illegal multibyte sequence 字面上的意思是字符串中存在’gbk’无法编码的情况。原因分析要么是open文件的编码和字符串内容不一致，要么是字符串中存在无法编码的字符。 解决方法： 用utf-8编码格式open文件,如下: with open(file_path,'w+',encoding='utf-8') 忽略该错误，在open()中加入errors=‘ignore’，如下: wit
JS提示：Uncaught SyntaxError: Unexpected token ILLEGAL错误的解决方法
10-21
主要介绍了JS提示：Uncaught SyntaxError: Unexpected token ILLEGAL错误的解决方法,涉及针对字符串参数的处理方法,需要的朋友可以参考下
Python读取文件出现‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence‘
热门推荐
weixin_38924500的博客
12-31 5万+
错误的意思是：Unicode的解码（Decode）出现错误（Error）了，以gbk编码的方式去解码（该字符串变成Unicode），但是此处通过gbk的方式，却无法解码（can’t decode ）。“illegal multibyte sequence”意思是非法的多字节序列，即没法（解码）了。 出现这种问题的原因时，需要处理的字符串本身不是gbk编码，但是又使用gbk编码。比如，我们的字符串本身是utf-8的，但是却用gbk去解码utf-8的字符串，所以结果必然出错。 通过查询部分回答提供了两种解决方.
对接百度网盘上传接口返回{"error_code":31034,"error_msg":"user not exists"}
Charlven的博客
05-06 9574
因公司项目需要集成百度网盘 api。但是在调用百度网盘上传接口时屡屡受阻。就算用官方的 curl 也不行，返回的错误码如下： {"error_code":31034,"error_msg":"user not exists","request_id":432574829432} 搜索后发现不少人遇到了同样的问题，经过查看官方文档以及咨询百度研发。 发现上传是受权限控制的，如果要调用上传接口，必须...
illegal multibyte sequence 解决方法
YmeBtc的博客
10-11 8000
每天一点点，记录工作中遇到的问题，及实操可行 python response 解析网页时 ,gbk无法解码 错误： UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaf in position 111: illegal multibyte sequence gbk编码，但是有多字符和特殊字符gbk无法解码 解决方式1 右键–检查 （或显示...
python读取中编码错误（illegal multibyte sequence 、invalid start byte等错误）
mrx9520的博客
06-19 1008
t=open('D:\我的文档\下载\XXX.docx','r',encoding='GBK',errors='ignore')#errors='ignore'好多人都说加入’ignore’，但一直都没有说清楚是在open函数中加入，还是在.read()中加入（其实是在open函数中加入，如下面例子）。主要讲一种情况就是文章中含有utf-8或gbk无法编码的字符情况。
详解Python中的编码问题（encoding与decode、str与bytes）
12-16
1 引言 　　在文件读写及字符操作时，我们经常会出现下面这几种错误： 　　TypeError: write() argument must be str, not bytes 　　AttributeError: ‘URLError’ object has no attribute ‘code’ 　　UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ inposition 5747: illegal multibyte sequence 　　这些错误一看就是编码问题， 本篇博文总结一下Python3文件读写及字
详解Python中使用base64模块来处理base64编码的方法
09-21
8bit的bytecode经常会被用base64编码格式保存,Python中自带base64模块对base64提供支持,这里我们就来详解Python中使用base64模块来处理base64编码的方法,需要的朋友可以参考下
python 结巴分词中 按行读取 csv中的文件 并将分词存储到csv中
jiasudu1234的博客
04-11 2万+
#coding='utf-8'impo#coding='utf-8' import csv import jieba import pandas as pd 分词存储后 如上图，数据格式，我们对上述数据的每一行进行分词，分词后如下表格式 python语言如下 file_object2=open('D:\A仲敏2015\python_code\\advice.csv').r
python 自然语言处理 代码实现（批量读取，分词，词向量化）
jiasudu1234的博客
05-12 8936
#coding=utf-8 #coding=gbk import pandas as pd import jieba import codecs import pandas as pd #decode_set=['ANSI','utf-8','gb18030','ISO-8859-2','gb2312','gbk','Error'] df=open("D:\A仲敏2015\pytho
python中numpy使用
jiasudu1234的博客
04-01 4750
import numpy as np#导入numpy data=[[1,2,3],[4,5,6]]#创建元组 arr=np.array(data)#转化为数组 arr.ndim#数组空间维数 arr.shape#数据行列数 arr.dtype#数据类型""int32"" np.zeros(10)#指定长度 np.zeros((3,6))#创建3行6列的0数组 np.ones(5)#
python如何查看编码类型
jiasudu1234的博客
05-05 4448
##查看编码类型 import chardet chardit1 = chardet.detect(cf_r)#cf_r为要查看的编码 print (cf_r['encoding'])
karas 实现lstm 文本分类
jiasudu1234的博客
10-28 3782
# In[4]: #网址来源 #https://github.com/fchollet/keras/blob/master/examples/imdb_lstm.py from __future__ import print_function from keras.preprocessing import sequence from keras.models import Sequential
python读取csv文件时出现UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 2: illegal multibyte sequence
最新发布
03-26
当使用Python读取CSV文件时，出现UnicodeDecodeError错误通常是由于文件编码与解码方式不匹配导致的。具体来说，'gbk' codec can't decode byte 0xaa in position 2: illegal multibyte sequence错误表示在使用'gbk'编码方式解码文件时，遇到了无法解析的多字节序列。 要解决这个问题，可以尝试以下几种方法： 1. 指定正确的编码方式：根据实际情况，尝试使用其他编码方式进行解码。常见的编码方式包括'utf-8'、'gb2312'等。可以通过在读取文件时指定encoding参数来指定编码方式，例如： ```python import csv with open('file.csv', 'r', encoding='utf-8') as file: reader = csv.reader(file) # 进行后续操作 ``` 2. 使用错误处理方式：在读取文件时，可以使用错误处理方式来处理无法解码的字符。常见的错误处理方式包括'ignore'（忽略错误字符）、'replace'（用特定字符替代错误字符）等。可以通过在读取文件时指定errors参数来指定错误处理方式，例如： ```python import csv with open('file.csv', 'r', encoding='gbk', errors='ignore') as file: reader = csv.reader(file) # 进行后续操作 ``` 3. 尝试其他解码方式：如果以上方法无效，可以尝试使用其他的解码方式来读取文件。例如，可以使用Python的chardet库来自动检测文件的编码方式，并进行解码，示例代码如下： ```python import csv import chardet with open('file.csv', 'rb') as file: raw_data = file.read() result = chardet.detect(raw_data) encoding = result['encoding'] with open('file.csv', 'r', encoding=encoding) as file: reader = csv.reader(file) # 进行后续操作 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值