Python-读取文件时报utf8编码失败的解决方法
在读取文件时,遇到文件中的字符超出编码格式本身,如:文件中含有一个超出utf8
范围内的字符,而其他文件都可以正常以utf8
编解码
提供两种解决方案:
1、保留超出编码格式的部分字符
- 利用
chardet
模块(第三方库,需安装)获取文件的编码格式,获取文件本身的编码格式解码,这样就可以忽略编码错误 - 拿到文件的编码格式后,在用指定的格式进行读取,就不容易
# 利用chardet获取文件的编码格式,根据文件本身的编码格式解码,这样就可以忽略编码错误
def get_ecnoding():
with open(file, 'rb') as f:
data = f.read()
encoding = chardet.detect(data).get('encoding')
return encoding
# 示例
>>> import chardet
>>> with open(r'./.bash_history','rb') as f:
... data = f.read()
...
>>> chardet.detect(data)
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
>>> chardet.detect(data).get('encoding')
'ascii'
# 拿到文件的编码