python2 中默认是ascii编码,对程序外读取的汉字需要解码为Unicode字符串进行处理。
python2中从程序外读取字符,通过decode解码为Unicode字符,使用encode将Unicode字符转化为指定的编码输出。
>>> s = '你好呀'
# 解码为Unicode字符, 编码格式不一定为utf-8,要看读入字符具体的格式
>>> s1 = s.decode('utf-8')
# 将Unicode字符编码为gbk格式的字符
>>> s2 = s1.encode('gbk')
>>> s1
u'\u4f60\u597d\u5440'
>>> s2
'\xc4\xe3\xba\xc3\xd1\xbd'
- 使用chartdet获取字符的编码
有时我们不一定知道已有字符的编码格式,可以使用chardet模块来获取字符的编码。chardet不是Python自带的模块,需要安装。
>>> import chardet
>>> s = '你好呀'
>>> en_type = chardet.detect(s)['encoding']
>>> s.decode(en_type)
u'\u4f60\u597d\u5440'
>>> chardet.detect(s)
{'confidence': 0.87625, 'encoding': 'utf-8'}