【debug】UnicodeDecodeError: codec can't decode byte 0xbd in position 4: invalid start byte

问题描述:

python内置编码方式为unicode编码,当读取一个非unicode编码文本时,python将报错,如:

情况一:

当文本为 utf-8 编码,直接读取将报错:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 4: invalid start byte

Traceback (most recent call last):
  File "C:/Users/dan/Desktop/python/codec.py", line 2, in <module>
    print(f.read())
  File "C:\Python37\lib\codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbd in position 4: invalid start byte

情况二:

当文本为 gbk 编码,直接读取将报错:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xbd in position 8: incomplete multibyte sequence

Traceback (most recent call last):
  File "C:/Users/dan/Desktop/python/codec.py", line 2, in <module>
    print(f.read())
UnicodeDecodeError: 'gbk' codec can't decode byte 0xbd in position 8: incomplete multibyte sequence

 

解决方式:

以对应的编码方式读取文本即可

情况一:

加入编码方式 encoding='utf-8'

with open('./case1.txt', 'r', encoding='utf-8') as f:
    print(f.read())

情况二:

加入编码方式 encoding='gbk'

 

附加:

以下代码可以自动识别文本编码方式并进行文本读取,适用于需要多次读取文本,且文本的编码方式各不一样时:

import chardet  # 编码识别模块
with open('./case.txt', 'rb') as f: # ’rb’模式按照二进制位进行读取,不会将读取的字节转换成字符
    ecd = chardet.detect(f.read())['encoding']  # 识别所读文本编码
with open('./case.txt', 'r', encoding=ecd) as f:    # 以对应编码方式读取文本
    read = f.read()
    print(read)

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值