Python报错 UnicodeDecodeError: ‘gbk‘ codec can‘t decode bytein position 2: illegal multibyte sequence

当Python尝试以gbk编码解码文本时,遇到'UnicodeDecodeError',表示字符串并非gbk编码。可能原因是字符串实际上是utf-8或其他编码。解决方法包括指定正确的编码方式,如gb18030,或使用'ignore'参数忽略非法字符。
摘要由CSDN通过智能技术生成
 

Python在读取文本信息时候出现以下的错误提示:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

错误的意思是:Unicode的解码(Decode)出现错误了,以gbk编码的方式去解码(该字符串变成Unicode),但是此处通过gbk的方式,却无法解码(can't decode).''illegal multibyte sequence"的意思是非法的多字节序列,也就是说无法解码了。

出现这样的错误,可能是要处理的字符串本身不是gbk编码,却是以gbk编码去解码。比如,字符串本身是utf-8的,但用gbk去解码,必然出错。

针对以上的这个问题,查阅网上资料,可以按照如下的步骤进行尝试:

(1)在打开文本时候,可以指明打开方式:

file = open(path, encoding='gbk')

或者 

file = pd.read_csv(path, encoding='gbk')

(2)如果上一步还不能解决,可能是文本中出现的一些特殊符号超出了gbk的编码范围,可以选择编码范围更广的‘gb18030’,如:

 file = open(path, encoding='gb18030')

或者 

file = pd.read_csv(path, encoding='gb18030')

(3)如果(2)还不能解决,说明文中出现了连‘gb18030'也无法编码的字符,可以使用‘ignore’属性忽略非法字符,如:

file = open(path, encoding='gb18030', errors='ignore')

或者:

file = pd.read_csv(path, encoding='gb18030',error_bad_lines=False)

参考官方文档:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html 

评论 26
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值