学习python处理python编码问题

概括从python开始就处理unicode字符,python源文件的编码与解码，我们写的python程序从产生到执行的过程如下

id="cproIframe_u2298924_2" height="200" marginheight="0" src="http://pos.baidu.com/acom?adn=3&adp=1&at=0&aurl=&c01=1&cad=1&ccd=24&cec=gb2312&cfv=19&ch=0&col=zh-cn&conBW=0&conOP=1&cpa=1&cpro_lu=1%2C%23dfe4f9%2C%23000000%2C%E5%AE%8B%E4%BD%93&dai=2&dis=0&layout_filter=image&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DGd3v-Z_HDJ-j9DSlk2mrWIbaEoR8Jqt30nWXJOm4Kme44Gu08IEom-G7EvKBGNwi%26wd%3D%26eqid%3Dae65ffab000e579d00000005560685f6&ltu=http%3A%2F%2Fwww.jb51.net%2Farticle%2F26542.htm&lu_161=0&lunum=6&n=jb51_cpr&pat=1&pcs=1353x618&pih=80&pis=10000x10000&piw=130&ps=516x212&psr=1366x768&pss=1353x618&ptbg=90&ptp=0&ptt=0&qn=27441943b885d02c&rad=&rsi0=650&rsi1=200&rsi5=4&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%23000000&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=tabcloud_skin_5&stid=5&td_id=2298924&tft=0&titFF=%25E5%25BE%25AE%25E8%25BD%25AF%25E9%259B%2585%25E9%25BB%2591&titFS=14&titSU=0&titTA=left&tlt=0&tn=baiduCustNativeAD&tpr=1443268367480&ts=1&version=2.0&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u2298924&ti=%E5%AD%A6%E4%B9%A0python%E5%A4%84%E7%90%86python%E7%BC%96%E7%A0%81%E9%97%AE%E9%A2%98_python_%E8%84%9A%E6%9C%AC%E4%B9%8B%E5%AE%B6&tt=1443268367306.481.897.897" frameborder="0" width="650" allowtransparency="true" marginwidth="0" scrolling="no" align="center,center">

概括、从python1.6开始就可以处理unicode字符了。
一、几种常见的编码格式。
1.1、ascii，用1个字节表示。
1.2、UTF-8,用1个至三个字节表示，表示ascii码时只占用1个字节，ascii编码是UTF-8的子集。
1.3、UTF-16,用2个字节表示，在python中，unicode的含义就是UTF-16。
二、python源文件的编码与解码，我们写的python程序从产生到执行的过程如下：
编辑器---->源代码---->解释器---->输出结果
2.1、编辑器决定源代码的编码格式（在编辑器中设定）
2.2、也必须要解释器知道源代码的编码格式（很遗憾很难从编码的数据获知源文件的编码格式）
2.3、补充：在Windows下当用UltraEdit把源代码存成UTF-8时，会在文件中记录BOM标志（不必祥究）这样ActivePython解释器会自动识别源文件是UTF-8格式，但是如果用eclipse编辑源文件，虽然在编辑器中指定文件编码为UTF-8,但是因为没有记入BOM标志，所以必须在源文件开始处加上#coding=utf-8，用注释来提示解释器源文件的编码方式挺有意思。
2.4、举例：例如我们要向终端输出"我是中国人"。

复制代码 代码如下:

#coding=utf-8 告诉python解释器用的是utf-8编码，我用的是eclipse+pydev
print "我是中国人" #源文件本身也要存成UTF-8编码

三、编码的转换，两种编码的转换要用UTF-16作为中转站。
举例：如果有一个文本文件jap.txt,里面有内容 "私は中国人です。"，编码格式是日文编码SHIFT_JIS，
还有一个文本文件chn.txt,内容是"中华人民共和国"，编码格式是中文编码GB2312。
我们如何把两个文件里的内容合并到一起并存储到utf.txt中并且不显示乱码呢，可以采用把两个文件的内容都转成UTF-8格式，因为UTF-8里包含了中文编码和日文编码。

复制代码 代码如下:

#coding=utf-8
try:
JAP=open("e:/jap.txt","r")
CHN=open("e:/chn.txt","r")
UTF=open("e:/utf.txt","w")
jap_text=JAP.readline()
chn_text=CHN.readline()
#先decode成UTF-16,再encode成UTF-8
jap_text_utf8=jap_text.decode("SHIFT_JIS").encode("UTF-8") #不转成utf-8也可以
chn_text_utf8=chn_text.decode("GB2312").encode("UTF-8")#编码方式大小写都行utf-8也一样
UTF.write(jap_text_utf8)
UTF.write(chn_text_utf8)
except IOError,e:
print "open file error",e

四、Tk库支持ascii,UTF-16,UTF-8

复制代码 代码如下:

#coding=utf-8
from Tkinter import *
try:
JAP=open("e:/jap.txt","r")
str1=JAP.readline()
except IOError,e:
print "open file error",e
root=Tk()
label1=Label(root,text=str1.decode("SHIFT_JIS")) #如果没有decode则显示乱码
label1.grid()
root.mainloop()

以上是学习python处理python编码的基本过程，希望对大家有帮助。