Python字符编码 中文乱码

Python字符编码 中文乱码

Python中可能会出现各种各样的中文乱码问题,在python程序运行中,有三个地方与编码直接相关

1.系统默认编码

windows系统默认编码为GBK,Linux系统默认为UTF-8(不知道是不是所有Linux都默认UTF-8,但至少Ubuntu是UTF-8)

意味着在Linux终端上输出GBK会导致乱码, 在Windows控制台输出UTF-8会导致乱码

#查看系统默认编码
import sys, locale, os
print(sys.stdout.encoding)
#或者
print(locale.getpreferredencoding())

2.Python源文件编码格式

Python源文件编码格式与操作系统有关,还和文本编辑器有关.

在Windows的记事本编写代码保存的是GBK编码格式

在Notepad++等其他文本编辑器中可以更改保存的编码格式

Python默认认为源文件为ANSI编码,若果源文件保存成了其他编码,Python在解析源文件的时候可能会出现字符编码不认识,因为ANSI字符集中不存在,从而导致程序执行中断

这种情况可以通过在程序第一行或者第二行加上(以下为源文件保存为utf-8的情况,如果保存成了gbk,将下面代码中utf-8替换成gbk即可)

#encoding:utf-8
或者
#-*- encoding:utf-8 -*-

这样Python会以指定编码格式来解析源文件

3.控制台输出/读写文件

Python中有两种字符相关的类型,一种是str,另一种是unicode.其中str类型类似于java中的byte(str是字节串, byte是一个字节),unicode类似java中的char(unicode为字串,char是一个字)

str和unicode可以互相转换

#str转unicode,charset是当前str的编码格式
u = str.decode("charset")
#unicode转str,charset为目标编码格式
s = unicode.encode("charset")

unicode可以通过str转换过来,也可以直接申明,如下

uStr=u'Python'

注意!!!在代码中不要直接申明中文unicode,如下

uStr=u'中文'

这样将导致uStr为乱码,也无法转换(转换很可能会报错),原因如下(假设源代码保存为gbk格式)

在源代码中,`中文` 二字被保存成了`\xd6\xd0\xce\xc4 `,那么 `u'中文'`结果就成了 `u'\xd6\xd0\xce\xc4'`.

实际上 `中国`  的unicode为 `u'\u4e2d\u6587'.而`u'\xd6\xd0\xce\xc4'`对于任何一种编码可能都是错误编码

通过上面的说明,现在要使控制台输出不为乱码就容易了.

确保最后输出的字符和系统默认字符编码一致即可,如windows下,utf-8的字符可以使用下面的代码

utf8Str.decode("utf-8").encode("gbk")

对于Linux下gbk编码可以使用一下代码

gbkStr.decode("gbk").encode("utf-8")

实际上Python在输出unicode字符串的时候会先调用encode(“charset”)再输出,这里charset就是系统默认编码,所只要正确的将str转换成了unicode,系统就能正确输出

对于str类型,Python不会自行转换,如果str的编码和系统默认编码不一致,就会导致乱码

读写文件时需要知道文件的编码格式(也可以使用程序检查文件的编码格式),然后做出正确的选择.

例如对于源代码为gbk格式,数据文件为utf-8格式,在windows下.

subStr = "中文"
fp=open('utf8file.txt','r')
for line in fp:
    line.find(subStr)

在上面的代码中无论数据文件中是否有”中文”二字,程序都是找不到的,因为两种str的字符编码不同,就是找到了也是错误的,可以将subStr转为utf8格式,也可以将line转为gbk格式在查找

结束语

刚开始写这篇文章的时候思路并不是很清晰,很多点也不知道,在写的过程中想到了一些问题,然后网上查找资料,并自己写代码验证.这样渐渐的越来越明了,理解得也越来越透彻.大部分中文乱码问题应该可以从上面找到解决方法

如有疑问,欢迎讨论
tangchenyi@mail.hfut.edu.cn