python查看汉字的编码_python汉字编码

在处理一段文本的时候，首先了解文本的汉字编码。在windows下默认的文件编码是GBK，而

linux的一般是utf-8.

想要查看文件的编码方式，使用vim打开文本，然后在命令行模式下输入：set fileencoding,回车

即可。

Python中有两种默认的字符串：str和unicode。在Python中一定要注意区分“Unicode字符串”

和“unicode对象”的区别。后面所有的“unicode字符串”指的都是python里的“unicode对象”

。

事实上在Python中并没有“Unicode字符串”这样的东西，只有“unicode”对象。一个传统意义上

的unicode字符串完全可以用str对象表示。只是这时候它仅仅是一个字节流，除非解码为unicode

对象，没有任何实际的意义。

函数 decode( char_set )可以实现 其它编码到 Unicode 的转换，函数 encode( char_set )实

现 Unicode 到其它编码方式的转换。

比如 ("你好").decode( "GB2312") 将得到 u'\u4f60\u597d'，即 "你"和“好"的 Unicode 码

分别是 0x4f60 和 0x597d

再用 (u'\u4f60\u597d').encode("UTF-8") 将得到 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是  “你好

”的UTF-8编码结果。

python中使用 unicode的关键：unicode是一个类，函数unicode(str,"utf8")从utf8编码(当然也

可以是别的编码)的字符串str生成 unicode类的对象，而函数unc.encode("utf8")将unicode类的

对象unc转换为(编码为)utf8编码(当然也可以是别的编码)的字符串。于是，编写unicode相关

程序，需要做的事情是

* 获取数据(字符串)时，用unicode(str, "utf8")生成unicode对象

* 在程序中仅使用unicode对象，对程序中出现的字符串常量都以u"字符串"的形式书写

* 输出时，可将unicode对象转换为任意编码输出，使用str.encode("some_encoding")

>>> unicode("你好", "utf8")

u'\u4f60\u597d'

>>> x = _

>>> type(x)

>>> type("你好")

>>> x.encode("utf8")

'\xe4\xbd\xa0\xe5\xa5\xbd'

>>> x.encode("gbk")

'\xc4\xe3\xba\xc3'

>>> x.encode("gb2312")

'\xc4\xe3\xba\xc3'

>>> print x

你好

>>> print x.encode("utf8")

你好

>>> print x.encode("gbk")

???

还有一种就是对于特殊字符的处理：

try:

print i.decode('unicode_escape').encode('utf8')

except:

print i