参考文献:
http://bbs.chinaunix.net/thread-1431029-1-1.html
http://blog.csdn.net/devil_2009/article/details/39526713
http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html
最近在做一个项目,因为文本处理的内容是中文,所以不得不面对python中文处理所带来的种种困惑。中文处理的问题主要是编码。处理好了编码之后,几乎所有的问题都迎刃而解。
下面我们从中文字符串和中文文本两个角度来探讨。
(一)中文字符串编码
首先要明白的是,python里面默认的字符串都是ASCII编码,是string类型,ASCII编码处理中文字符是会出问题的。python的内部编码格式是unicode,在字符串前加‘u’前缀也可直接声明unicode字符串,如 u'hello'就是unicode类型。如果处理的字符串中出现非ascii码表示的字符,要想不出错,就得转成unicode编码了。所以,我们可以利用unicode编码处理中文字符。
但是,通常当我们从文本中读出字符串时,并不确切地知道该字符串string是什么类型。这时,我们可以使用
import chardet
for i in ['abc123','中国']:
print i,chardet.detect(i)
#即chardet.detect(string)即可获得string的编码格式。
获取字符串string的编码格式X。当知道编码格式之后,我们可以使用:
(1)将其他编码的字符串转换成unicode编码:使用decode方法,如str = string.decode(X),表示将X编码格式的字符串string转换成unicode编码str;或使用unicode方法,如str = unicode(string, X),表示将X编码格式的字符串string转换成unicode编码str。
(2)将unicode编码转换成其他编码的字符串,如str1 = str.encode('gb2312'),表示将unicode编码的字符串str转换成gb2312编码str1;
另外,对一个unicode编码的字符串在进行解码会出错,所以在编码未知的情况下要先判断其编码方式是否为unicode,可以用isinstance(str, unicode)。不仅是中文,以后处理含非ascii编码的字符串时,都可以遵循以下步骤:1、确定源字符的编码格式,假设是utf8;2、把处理后字符串用encode()编码成指定格式。3、使用unicode()或decode()转换成unicode编码,如str1.decode('utf8'),或者unicode(str1, 'utf8');
(二)中文文本编码
源代码文件中,如果有用到非ASCII字符,则需要在文件头部进行字符编码的声明,如下:
#-*- coding: UTF-8 -*-
实际上Python只检查#、coding和编码字符串,其他的字符都是为了美观加上的。另外,Python中可用的字符编码有很多,并且还有许多别名,还不区分大小写,比如UTF-8可以写成u8。
另外需要注意的是声明的编码必须与文件实际保存时用的编码一致,否则很大几率会出现代码解析异常。现在的IDE一般会自动处理这种情况,改变声明后同时换成声明的编码保存,但文本编辑器控们需要小心。
内置的open()方法打开文件时,read()读取的是str,读取后需要使用正确的编码格式进行decode()。write()写入时,如果参数是unicode,则需要使用你希望写入的编码进行encode(),如果是其他编码格式的str,则需要先用该str的编码进行decode(),转成unicode后再使用写入的编码进行encode()。如果直接将unicode作为参数传入write()方法,Python将先使用源代码文件声明的字符编码进行编码然后写入。
# coding: UTF-8
f = open('test.txt')
s = f.read()
f.close()
print type(s) # <type 'str'>
# 已知是GBK编码,解码成unicode
u = s.decode('GBK')
f = open('test.txt', 'w')
# 编码成UTF-8编码的str
s = u.encode('UTF-8')
f.write(s)
f.close()
# coding: GBK
import codecs
f = codecs.open('test.txt', encoding='UTF-8')
u = f.read()
f.close()
print type(u) # <type 'unicode'>
f = codecs.open('test.txt', 'a', encoding='UTF-8')
# 写入unicode
f.write(u)
# 写入str,自动进行解码编码操作
# GBK编码的str
s = '汉'
print repr(s) # '\xba\xba'
# 这里会先将GBK编码的str解码为unicode再编码为UTF-8写入
f.write(s)
f.close()
注意:
1)上文中string.decode("utf-8")这种使用方式,并不会对string进行改变。str=string.decode("utf-8"),str才是处理后的string,str是unicode编码格式。
2) 执行解码成为unicode编码格式后,仍然能够使用string的部分性质,如下面:
import codecs
read_file = codecs.open("E:\\Files\\data\\train.tsv","r",encoding = 'gbk')
while True:
line_sentence = read_file.readline().split('\t')[1]
print(line_sentence)
3)python
在使用open
打开文件并读取文件内容时,只能读取一次。所以,在进行循环读文件内容之前,可以将文件内容读取出来并存储。
read_sample = codecs.open("E:\\Files\\data\\some_test.txt",encoding='gb18030')
train_content = read_sample.readlines()
while True: