在讨论python编码之前,我先了解了几种编码的由来。
一、编码类型
1、ascci码
ascci码由美国人发明,用1个字节(byte)存储英文和字符,前期用了128个,后来新加了其他欧洲国家的符号,128~255这一段。
256个字符,基本上就是键盘上的所有字符。
2、unicode
2个byte,65535。因为后来发现还有其他国家的语言,而256个字符太少。
3、utf-8
UTF-8是Unicode的实现方式之一。
UTF-8最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。
UTF-8的编码规则很简单,只有二条:
- 对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。
- 对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。
下表总结了编码规则,字母x表示可用编码的位。
Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
4、GBK
GBK全称《汉字内码扩展规范》(GBK即“国标)就是国家制定的标准。
其实GBK在就是将每个汉字对应一个数字编码,http://www.mytju.com/classCode/tools/encode_gb2312.asp 这个网址可以查看到具体的编码对应关系:
比如:中国 二字,对应的各种编码如下。
二、为什么要转码?
在python程序运行过程中,如果遇到编码不一致(就好像中国人和美国人在一起,如果语言不通的话,就无法沟通。),就需要进行转码。相当于需要有一个翻译。
在运行Python程序的过程中,会涉及到三个方面的编码:
-
Python程序文件本身的编码(test.py文件的编码)--自身文件
- Python程序运行时环境的编码(比如securecrt,类似mysql客户端连接时的编码)--客户端
- Python程序读取外部文件的编码(引用外部文件的编码)--外部文件
下面对于以上三种情况为什么需要转码分别进行说明:
情况一(自身文件编码问题)
python2默认编码为ascii,如果我们写的代码里面有非ascii字符,比如中文字符,py程序就会不认识。
就相当于两个人都用普通话在沟通,其中某一个人突然蹦出一句家乡话,另外一个人突然就懵逼了,同样,python也懵逼了。
记得刚开始接触python时,就碰到了经典错误,然后网上各种找资料,后来照着网上前辈们的设置,也没有深究其原理。
经典错误范例:
#!/usr/bin/env python
print '你好 大鸟'
运行时会报错:
SyntaxError: Non-ASCII character '\xe4' in file t.py on line 4, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details
错误原因:python2默认的编码为ascii,python3默认编码为utf-8,而文件里面包含了非ASCII字符,所以他肯定不认识,就报错了。
可以通过sys模块查看默认编码:
>>> sys.getdefaultencoding() 'ascii'
怎么解决?
针对情况一解决方法:(目的都是将默认编码修改成utf-8,这样,程序既可以认识ascii,又可以认识utf-8了)
解决方法一:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
解决方法二:
#coding:utf8
解决方法三:
#-*- coding:utf-8 -*-
情况二(客户端编码问题)
我们在使用mysql时,如果客户端设置为latin,而服务端为utf-8,查询内容有中文时,就会出现乱码。同样,我们在使用python时,secureCRT也是客户端,服务端就是我们连接的服务器。
范例:
1、客户端设置secureCRT编码为UTF-8
2、服务端测试
3、设置客户端为非utf-8时,就会出现乱码
结果如下:
而且从步骤2中也可以看出,python自动识别变量a='中国test'为utf-8的编码,如果客户端(secureCRT)和服务端(python)编码不一致时,就会出现乱码。
情况二解决办法:设置客户端的编码格式和服务端一致!
情况三:读取外部文件时,出现乱码
比较典型的就是:当我们从windows上编辑一个文件,上传到linux上时,会惊奇的发现^M符号。这个就是因为windows和linux的回车换行符不一致导致的,此时如果是python文件时,python也会报错。
我们在linux先查看时会有特殊符号:
这时,如果我们需要去掉^M,需要使用dos2unix工具转换一下,去掉windows上的格式。
三、编码怎么转换
unicode为桥梁,utf-8和gbk互转需要经过unicode这个翻译,不然他们二者是无法直接沟通。
操作范例:
1、查看默认编码,python遇到中文字符,会识别他是utf-8编码,chardet模块可以识别编码格式,但是也不是100%,下面他识别出myname为utf-8的概率为75%。
2、将utf-8转为unicode编码
utf-8转为unicode编码是,需要指定他本身是什么格式的编码,类似于加密。查看myname_unicode变量时,发现他是unicode编码格式了。
3、将unicode编码转为utf-8
具体转换操作如下:
例子:
>>> a=u'中国' #unicode编码格式的字符串
>>> a_utf8=a.encode('utf-8') #将unicode转成utf-8编码格式
>>> a_utf8
'\xe4\xb8\xad\xe5\x9b\xbd'
>>> a_unicode=a_utf8.decode('utf-8') #从utf8编码格式转回unicode编码格式
>>> a_unicode
u'\u4e2d\u56fd'
>>> a
u'\u4e2d\u56fd'
>>>
>>> b_gbk=a_unicode.encode('gbk') #将上面unicode格式的转成gbk编码格式
>>> b_gbk
'\xd6\xd0\xb9\xfa'
>>> b_unicode=b_gbk.decode('gbk') #转回unicode编码格式
>>> b_unicode #最后发现,a_unicode、b_unicode和原始的unicode编码的a都相等。
u'\u4e2d\u56fd'
>>> a_unicode
u'\u4e2d\u56fd'
>>> a
u'\u4e2d\u56fd'
>>>
a.encode(* *):将a 编码 为 * *编码格式的字符串或unicode对象
a.decode(* *):将a 解码 为 unicode编码格式的字符串或unicode对象
另外:
Python将字符串格式的unicode编码转换成unicode编码,如:\u53eb\u6211,需要转换成中文时有两种方式
1.使用eval:
eval("u"+"\'"+unicodestr+"\'")
2.使用decode:
str1 = '\u4f60\u597d' print str1.decode('unicode_escape') 你好
unicodestr.decode('unicode_escape') # 将转义字符\u读取出来
四、参考文献和文件索引
1、汉字对应表:http://www.chi2ko.com/tool/CJK.htm
2、阮一峰的网站