关于 IDLE 上发生 UnicodeDecodeError 问题的解决办法

最近在学习python，练习一个汉字分词的算法的时候，发现程序总是会出现形如

UnicodeDecodeError: 'utf8' codec can't decode byte 0x?? in position ?

的错误警告。

找了一些资料最终解决了问题，所以记录一下。

使用的python为2.7版本，平台为IDLE。

在程序里执行

import sys
print sys.getdefaultencoding()

得到输出为

ascii

说明系统默认的字符编码方式是ascii码方式，为了对读取文本和键入的汉字进行，在程序中采用了

sentence = unicode(sentence,'utf-8')

其中sentence是键入或是读取文件中的一行数据。

然后解释过程中就会发生形如

UnicodeDecodeError: 'utf8' codec can't decode byte 0x?? in position ?

的错误警告，并且明确指示为

sentence = unicode(sentence,'utf-8')

存在错误。

问题在于，IDLE由于采用ascii作为默认编码，对于键入的汉字则默认采用了gbk的编码方式，因而unicode使用解码utf-8编码方式就会发生错误。

正确的做法是，使用

sentence = sentence.decode('gbk')

或是

sentence = unicode(sentence,'gbk')

将gbk编码的汉字字符转换为unicode编码。

类似的问题应该都是由于混合编码导致的，注意统一编码应该就都能解决问题。