python2和python3的编码_unicode和utf8-Python中对字符编码的理解,以及Python2和Python3处理的差异...

Apple iPhone 11 (A2223) 128GB 黑色 移动联通电信4G手机 双卡双待

4999元包邮

去购买 >

对编码问题一直一知半解，之前也是得过且过，正好有个同事要我帮忙解决这方面问题，借这个契机研究了一下

先贴几篇比较好的：

1.这篇虽然是上古文章（07年…），不过对理解帮助很大，从最基础讲起，逻辑清晰： http://www.ruanyifeng.com/blo...

2.这篇大概是应该比较容易搜到的……最高票太长了，可以看下二楼的和下面其他一些：https://www.zhihu.com/questio...

3.这篇适合理解的差不多了，最后来看（解释了py2中为什么不能用 setdefaultencoding）： https://blog.ernest.me/post/p...

4.关于UnicodeDecodeError： https://stackoverflow.com/que...

以及Python3的官方文档：https://docs.python.org/relea...

=============================================================================

建议以上几篇理解的差不多后再看正文：

简单说一下Python中编码:

3.0去掉了 unicode类型 和 unicode()函数，区分出str类型和bytes类型，而且str不再同时有encode和decode方法，bytes只有decode，str只有encode

即：3.0中，没有了unicode这个类型，但实际上Python3是将str以unicode方式存储，"All text is Unicode"。

py2因为没做到这一点，所以需要我们写代码时注意手动按照这个原则。

这里可能有个疑问就是，按之前的理解（假设已经读了第1篇）unicode是编码规则，但不是存储方式，uft8才是它的实现，才能用来存储，为什么这里说“将str以unicode方式存储”？这里要理解清楚所谓实现，其实多的就是一个字节数的信息，unicode和utf8本质上都是一串0和1，只是缺一个字节数量的区分（即，从信息量上来说： unicode + 字节数 = utf8）。这样，既然它身在python下，python自然有办法用自己的标记来正确读写“字节数”这个信息（纯属猜测）。

重点，重点，重点，贴一下py2中处理编码的原则（摘自上面第3篇），如果你理解了为什么有这个原则说明差不多理解了py2的编码：

·所有 text string 都应该是 unicode 类型，而不是 str，如果你在操作 text，而类型却是 str，那就是在制造 bug。

·在需要转换的时候，显式转换。从字节解码成文本，用 var.decode(encoding)，从文本编码成字节，用 var.encode(encoding)。

·从外部读取数据时，默认它是字节，然后 decode 成需要的文本；同样的，当需要向外部发送文本时，encode 成字节再发送。

除了上面几篇，百度还有无数其他的讲解，本篇就不再赘述原理之类的，上一份Python代码讲下实际应用，主要功能是递归遍历目录下所有文件，主要讲解都在注释里：

#-*- coding:utf-8 -*-

'''

Description :

递归遍历目录下所有文件(排除目录)，并逐行写入到指定文件中。

可以分别用py2或py3来执行，结果相同。

可以不带参数，或者 python xxxx

'''

'''

一些说明：

Python2: str -> (decode) -> unicode -> (encode) -> str

Python3: bytes -> (decode) -> str(unicode) -> (encode) -> bytes

官方文档表示，3.0后： 'All text is Unicode; however encoded Unicode is represented as binary data.

The type used to hold text is str, the type used to hold data is bytes'

'''

import sys

import os

try:

PATH = sys.argv[1]

except IndexError:

# 在这里写一个你能找到的名字最乱，里面文件名最杂的文件夹

PATH = r'./' # raw string, 表示不进行转义, 如果复制一个带反斜杠后面带数字或字母的路径, 不加上这个r就会出错

try:

WRITE_PATH = sys.argv[2]

except IndexError:

WRITE_PATH = 'abc' # 指定要写入的文件名

PY2 = sys.version.startswith('2')

if PY2:

# 不理解编码的人经常用这个当做万能药，这个确实也有用，但严重不推荐使用，见第3篇

# import sys

# reload(sys)

# sys.setdefaultencoding('utf8')

# PATH = PATH.decode() # 即使用了万能药这句也是要的

# 记住原则，在python内处理文本字符串，永远保证是unicode类型，关于'ignore'参数见第4篇

PATH = PATH.decode('utf8', 'ignore')

def getf(path):

l = []

res = os.listdir(path)

for each in res:

subpath = os.path.join(path, each)

if os.path.isdir(subpath):

l.extend(getf(subpath))

else:

l.append(each)

return l

res = getf(PATH)

if PY2:

# Python2, 由于py2中概念的模糊, 可以直接用'w'打开去写

# 不过不编码成utf8的话也是会抛UnicodeDecodeError的。检查 "%s\n" % each 的类型可以看到是unicode，说明py2内部处理过程中也一直是unicode

with open(WRITE_PATH, 'w') as f:

for each in res:

f.write(("%s\n" % each).encode('utf8'))

else:

# Python3, 可以用w打开然后不编码直接写string(即unicode)，不过那样结果很明显：非英文各种乱码。

# 而编了码就转为了bytes类型，所以Python3想正确实现就必须用二进制方式打开 （wb）

# 如果打开方式和写入类型不对应，直接就抛TypeError了

with open(WRITE_PATH, 'wb') as f:

for each in res:

f.write(("%s\n" % each).encode('utf8'))

总结下代码，首先可以看到py3是没毛病的，对编码的操作概念清晰，没有任何困扰。

py2这块确实有硬伤，虽然很多时候也无所谓，但在要严谨或者专门处理编码的代码中，一定要记住开头贴的原则。

关于setdefaultencoding，除非实在不重要的场景，又需要临时简单解决，可以凑合一下，普通场景不建议用.

原因第3篇解释得很清楚。另附官方文档的说明如下：

set the current default string encoding used by the Unicode implementation. If name does not match any available encoding, LookupError is raised. This function is only intended to be used by the site module implementation and, where needed, by sitecustomize. Once used by the site module, it is removed from the sys module’s namespace.

关于代码中这一句：PATH = PATH.decode('utf8', 'ignore')，可以自己尝试不指定解码类型，或者指定'ascii'，'gbk'之类，有的会报错，取决于那个路径字符串本身的内容( 如果是用参数传进来的好像还和系统有关, 如果是写死在代码里的就跟代码所在的文件本身的编码关联 )，一般来说utf8是最常见的。但'ignore'参数是必须带的，具体原因还是看链接。

原文链接:https://segmentfault.com/a/1190000013199341