Python 3读取文件解码异常UnicodeDecodeError

Python 3读取文件解码异常UnicodeDecodeError

https://www.jianshu.com/p/9cb55b7173ae

1、遇到了解码问题

今天在做中文语料库的预处理工作，读文件的时候提示解码错误，UnicodeDecodeError，总结一下解决的办法……

2、写在前面

字符需要指定编码格式，然后才能以字节的形式存储到磁盘，下次打开文件，需要使用相同编码格式进行解码，才不会出现乱码的情况。

3、打开文件需要指定编码格式

在Python（或者其它编程语言）中，打开文件时with open(file_url, 'r', edcoding='utf-8') as f:，需要指定编码格式，默认编码格式为当前平台的格式，我的是gbk，打开时指定的编码格式要与存储编码格式相同。

4、判断文件的编码格式

在Python中可以使用chardet.detect函数判断文件的编码格式：

作者：就是杨宗
链接：https://www.jianshu.com/p/9cb55b7173ae
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。