Python、Unicode和中文

转载 2015年11月17日 23:37:03

python的中文问题一直是困扰新手的头疼问题,这篇文章将给你详细地讲解一下这方面的知识。当然,几乎可以确定的是,在将来的版本中,python会彻底解决此问题,不用我们这么麻烦了。
先来看看python的版本:
>>> import sys
>>> sys.version
'2.5.1 (r251:54863, Apr 18 2007, 08:51:08) [MSC v.1310 32 bit (Intel)]'
(一)
用记事本创建一个文件ChineseTest.py,默认ANSI:
s = "中文"
print s
测试一下瞧瞧:
E:\Project\Python\Test>python ChineseTest.py
  File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xd6' in file ChineseTest.py on line 1, but no encoding declared; see 
http://www.pytho
n.org/peps/pep-0263.html for details
偷偷地把文件编码改成UTF-8:
E:\Project\Python\Test>python ChineseTest.py
  File "ChineseTest.py", line 1
SyntaxError: Non-ASCII character '\xe4' in file ChineseTest.py on line 1, but no encoding declared; see 
http://www.pytho
n.org/peps/pep-0263.html for details
无济于事。。。
既然它提供了网址,那就看看吧。简单地浏览一下,终于知道如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:
# coding=gbk
s = "中文"
print s
再试一下:
E:\Project\Python\Test>python ChineseTest.py
中文
正常咯:)
(二)
看一看它的长度:
# coding=gbk
s = "中文"
print len(s)
结果:4。
s这里是str类型,所以计算的时候一个中文相当于两个英文字符,因此长度为4。
我们这样写:
# coding=gbk
s = "中文"
s1 = u"中文"
s2 = unicode(s, "gbk") #省略参数将用python默认的ASCII来解码
s3 = s.decode("gbk") #把str转换成unicode是decode,unicode函数作用与之相同
print len(s1)
print len(s2)
print len(s3)
结果:
2
2
2
(三)
接着来看看文件的处理:
建立一个文件test.txt,文件格式用ANSI,内容为:
abc中文
用python来读取
# coding=gbk
print open("Test.txt").read()
结果:abc中文
把文件格式改成UTF-8:
结果:abc涓?枃
显然,这里需要解码:
# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")
结果:abc中文
上面的test.txt我是用Editplus来编辑的,但当我用Windows自带的记事本编辑并存成UTF-8格式时,
运行时报错:
Traceback (most recent call last):
  File "ChineseTest.py", line 3, in 
    print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: 'gbk' codec can't encode character u'\ufeff' in position 0: illegal multibyte sequence
原来,某些软件,如notepad,在保存一个以UTF-8编码的文件时,会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF,即BOM)。
因此我们在读取时需要自己去掉这些字符,python中的codecs module定义了这个常量:
# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
结果:abc中文
(四)一点遗留问题
在第二部分中,我们用unicode函数和decode方法把str转换成unicode。为什么这两个函数的参数用"gbk"呢?
第一反应是我们的编码声明里用了gbk(# coding=gbk),但真是这样?
修改一下源文件:
# coding=utf-8
s = "中文"
print unicode(s, "utf-8")
运行,报错:
Traceback (most recent call last):
  File "ChineseTest.py", line 3, in 
    s = unicode(s, "utf-8")
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
显然,如果前面正常是因为两边都使用了gbk,那么这里我保持了两边utf-8一致,也应该正常,不至于报错。
更进一步的例子,如果我们这里转换仍然用gbk:
# coding=utf-8
s = "中文"
print unicode(s, "gbk")
结果:中文
翻阅了一篇英文资料,它大致讲解了python中的print原理:
When Python executes a print statement, it simply passes the output to the operating system (using fwrite() or something like it), and some other program is responsible for actually displaying that output on the screen. For example, on Windows, it might be the Windows console subsystem that displays the result. Or if you're using Windows and running Python on a Unix box somewhere else, your Windows SSH client is actually responsible for displaying the data. If you are running Python in an xterm on Unix, then xterm and your X server handle the display.
To print data reliably, you must know the encoding that this display program expects.
简单地说,python中的print直接把字符串传递给操作系统,所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同),所以这里可以使用gbk。
最后测试:
# coding=utf-8
s = "中文"
print unicode(s, "cp936")
结果:中文 

本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u1/33982/showart_2110037.html

转载:Python、Unicode和中文

python的中文问题一直是困扰新手的头疼问题,这篇文章将给你详细地讲解一下这方面的知识。当然,几乎可以确定的是,在将来的版本中,python会彻底解决此问题,不用我们这么麻烦了。 先来看看pyth...
  • summerhust
  • summerhust
  • 2011年08月02日 15:46
  • 3450

Python、Unicode和中文

Python、Unicode和中文python的中文问题一直是困扰新手的头疼问题,这篇文章将给你详细地讲解一下这方面的知识。当然,几乎可以确定的是,在将来的版本中,python会彻底解决此问题,不用我...
  • lwl_ls
  • lwl_ls
  • 2007年08月21日 18:21
  • 38423

Unicode和Python的中文处理

 版权声明请尊重原创作品。转载请保持文章完整性,并以超链接形式注明原始作者“tingsking18”和主站点地址,方便其他朋友提问和指正。 Unicode和Python的中文处理  在Python语言...
  • tingsking18
  • tingsking18
  • 2009年03月29日 13:43
  • 13714

Unicode中关于中文和其他特殊字符的编码范围

编程中有时候需要用到匹配中文的正则,一般用 [ \u4e00-\u9fa5]+ 即可搞定。不过这正则对一般的火星文鸟语就不太适用了,甚至全角的标点符号都不包含在内。例如游戏里面的玩家名,普通青年一般都...
  • wide288
  • wide288
  • 2014年06月12日 16:57
  • 2988

将Python中unicode模式转换成中文

中文格式即utf8 a = x"中国" x'\xd6\xd0\xb9\xfa' s = a.encode("utf8") print s 中国 new '\xc3\x96\xc3\x90\x...
  • u013045749
  • u013045749
  • 2015年05月14日 13:14
  • 7355

python3 把\u开头的unicode转中文,把str形态的unicode转中文

python3 把unicode转中文,把str形态的unicode转中文 他返回的匹配的list是这样的['\\u751F\\u5316\\u5371\\u...
  • u014519194
  • u014519194
  • 2016年12月29日 14:01
  • 7236

Python写入txt文件中的中文Unicode无法显示为中文

上图中的 s1 和 s2 本身就是Unicode,所以直接Print可以输出中文,森林狼 和 老鹰 上图为代码图,以上代买是正确的!!!可得如下正确结果。 但是,整个晚上5个小时,都在...
  • u010388829
  • u010388829
  • 2015年01月04日 23:30
  • 2694

python unicode中文(汉字)输出

使用百度地图web service API时取到的数据中, 中文都是\u 这种unicode, 太坑爹了.如何将unicode转换成中文并打印或者输出到文件中呢? 在网上找了好久,终于找到了方法, 使...
  • zzllabcd
  • zzllabcd
  • 2013年12月03日 18:01
  • 14339

python2学习之如何将Unicode中文字符串显示出来

在将str转换为unicode之后,需要将其显示出来,str = '\u82f1\u8bed\u8001\u5e08' tran = str.decode('unicode-escape') prit...
  • u011394059
  • u011394059
  • 2017年07月04日 17:06
  • 1735

Python将list中的unicode转换成中文显示

python list中unicode转换
  • cc7756789w
  • cc7756789w
  • 2015年05月27日 17:13
  • 7991
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python、Unicode和中文
举报原因:
原因补充:

(最多只允许输入30个字)