Pandas.read_csv格式奇怪的问题
除了常见的utf-8,gbk,今天发现还有utf-8-sig
用默认格式打开是这样的:
明显是编码问题,但是用utf-8打开文件发现是这样的:
用open打开文件看到是这样的:
可以看到在文件的首部有一个\ufeff字段,那么feff是什么意思呢?
feff是一个BOM(Byte Order Mark),是一个不显示的标识字段,在utf-16或者utf-32等中,feff放在首位表示字节流高位在前还是低位在前;
但是一般的utf-8是不需要BOM的,为了解决这个问题,我们采用utf-8-sig编码打开csv文件,可以看到已经正常了:
总结:在遇到编码问题的时候,除了考虑gbk(国标扩)和utf-8之外,记得检查一下BOM等不可见但作怪的字符,用open直接打开文件看一看,回到最基础的层面往往能看的更清楚。