用python2.7 做sogou字典处理编码的时候踩过的坑——学习笔记【文字编码转换 decode chardet】

做完这一次有点不信任txt了

太多编码了 utf-8 unicode gbk gbk的子集gb12236 ansi ansi方法的gbk....

windows自带的是ansi方法的gbk

要转码，wps>notepad++>subline>>windows自带。wps的转码最多最清楚，notepad++的自动识别比subline好，起码能读

如果是unicode或者什么的，用chardet猜测不出编码，或者很怪的的（结果是None，或者KOI等异国编码），可能是unicode，这个时候尝试转utf8可能会说float不能转，这个时候就可以str（float），直接变成unicode

spyder能看的，不一定就是有编码的，不一定就能decode，有可能是unicode，而且是被识别成float的那种，notepad同理

编码范围：unicode>utf-8>ansi（gbk）>gb12236

最好编码识别方法是看变量：u'开头unicode ，\x开头utf-8