通常,在利用python做数据分析时,pandas库的
pd.read_csv('XXX.csv')
是个很好用的导入csv文件的工具。
但是,今天在导入一份csv文件时却出现了UnicodeDecodeError:'utf-8' codec can't decode byte 0xb7 in position 0: invalid start byte
根据之前的经验,一般需要加上encoding的格式,然而加上encoding='utf-8’后依然报错,错误同上。
data = pd.read_csv('XXX.csv',encoding='utf-8')
考虑到文件中有不少汉字,于是尝试改为gbk编码格式:
data = pd.read_csv('XXX.csv',encoding='gbk')
依然报错,错误如下:
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 128912: illegal multibyte sequence
最后,将encoding改为’gb18030’即可正常读取。
data = pd.read_csv('XXX.csv',encoding='gb18030')
原因在于这份csv文件中有不少是汉字,所以在编码时可能会出现问题,常见的编码主要有:
1.ASCII码 与扩展的ASCII码。
2.Unicode编码:UTF-8就是Unicode字符的实现方式之一。
3.GBK/GB2312/GB18030:针对汉字的编码,如果csv文件中汉字较多,可能就需要这几中编码格式。如果不需要了解背后的原理的话,可以在实际使用中多尝试几次。
具体的编码原理与分类可以通过其他大佬的博客学习~
注意:如果导入使用了GB18030编码格式,那么在导出DataFrame到csv文件时,可能会出现乱码,可以指定导出的编码格式为 utf-8-sig
,例如:
data.to_csv('test.csv', encoding = 'utf-8-sig', index = False)