python中字符编码的总结和对比_【转载】Python中字符编码的总结和对比：Python 2.x的str和unicode vs Python 3.x的bytes和str...

此文之前

在读此文之前，你需要了解一些基本的前提知识：

1. Python的两种版本，Python 2.x和Python 3.x，的划分，不了解的去参考：

2.对于各种字符编码要有个基本的了解

比如：

通用的Unicode

Unicode的最常见的一种实现方式，UTF-8

Windows中的默认编码GBK

等等，有个基本的概念。

如果不了解，可以参考相关内容：

3.关于Python文件中，声明当前文件所使用何种编码，要清楚其含义

不了解的，去看：

Python编解码简介

Python中，不论是Python 2.x还是Python 3.x中，总体上说，字符都只有2大类：

一类是通用的Unicode字符；

另一类是，(unicode被编码后的)，某种编码类型的字符，比如UTF-8，GBK等等类型的字符；

但是呢：

Python 2.x，字符编码方面，设计的不好，导致经常，非常容易，出现一些字符编码解码方面的错误。

具体常见错误及解决办法，可参考：

而：

Python 3.x中，对于字符编解码方面的设计，的确先进和简洁多了，在使用过程中，也就很少再出现这类编码解码方面的错误了。

下面，就来对比一下：

Python 2.x的str和unicode和Python 3.x的bytes和str的详细对比

下面来简单介绍一下，Python 2.x和Python 3.x在字符编码方面的知识：

关键字

含义

具体的写法

两者之间如何互换

Python 2.x

str

某种编码(UTF-8，GBK等)类型的字符串

"python 2.x中，普通的，用引号括起来的字符，就是str；此时字符串的编码类型，对应着你的Python文件本身保存为何种编码有关，最常见的Windows平台中，默认用的是GBK"

str->unicode:

【核心代码逻辑】

1.确保自己知道对应字符串，是什么编码的

2.然后使用yourStr.decode("yourKnownEncoding")

去解码为对应的unicode字符串

注：

yourKnownEncoding为你自己所已知的，该字符串的编码类型

3.然后继续你想要的各种处理

【完整代码】

参见下面的：python_2.x_str_to_unicode.py

unicode

Unicode类型的字符串

有两种写法：

前缀加u

u"Python 2.x中，在普通字符串，加上前缀u后，就表示字符串是Unicode类型了"

用unicode()强制转换：

unicode("Python 2.x中，在普通字符串，加上前缀u后，就表示字符串是Unicode类型了")

此种写法的前提是，python文件中指定了对应的编码类型；

并且对应的python文件的确是以该编码方式保存的

unicode->str:

【核心代码逻辑】

1.先声明，或已获得了对应的，Unicode字符

2.然后用

unicodeVariable.decode("encodingType")

去编码为对应的encodingType类型的字符串。

其中encodingType常见的有UTF-8，GBK等等；

注：

将Unicode转换为什么编码，因实际情况而异；

即具体编码为什么类型，和你的实际使用的需求和目的有关；

3.然后再去做后续的，你自己想要的，任何的处理

包括将其保存到对应的文件，传递给后面的代码处理等。

注：

虽然上述说如果转换为GBK，用于在Windows的cmd中输出，只是为了演示的目的；

实际上输出，尤其是打印Unicode类型的字符的时候，Python系统会自动将Unicode编码为，与当前输出终端，相同的编码，然后再显示的；此处此即自动把Unicode编码为cmd的GBK然后再显示。

【完整代码】

参见下面的：python_2.x_unicode_to_str.py

Python 3.x

bytes

某种编码(UTF-8，GBK等)类型的字节序列

普通字符串加上字母b作为前缀，就是表示bytes字符串了。

需要注意的是：

bytes，都是某种特定的编码的字符串

bytes，如果写上对应的值的话，那么只能直接写ASCII字符串，即只能写英文单词这种

而如果想要写中文汉字这种，需要写\xYY这种16进制的值的形式才可以

其中\xYY的值到底是多少，是你自己去通过相应的办法，将其编码为特定类型的字符所获得的

其中如何把字符串，转换为某种编码的bytes的值，可以参考下面的"str->bytes"中的代码

一般来说，我们在实际编程中，所遇到的是，你自己需要知道当前获得的字符串变量，是bytes，并且知道其是什么编码，基本上就可以了，然后就可以用后面介绍的bytesVariable.decode("specificEncoding")去解码为你需要的Unicode的str字符串了

bytes->str:

【核心代码逻辑】

1.如果你要写对应的bytes变量，那么需要加上前缀字母b；

注意：

不过要注意的是，只能写英文单词，而不能直接写中文等非ASCII的字符。

如果非要写非ASCII字符，那么只能自己想办法先将其转化为对应某种编码的byte，内部存储的内容，是对应的各个字节，打印出来的效果就是\xYY这种十六进制的值。

其中：

如果把对应的中文转换对特定编码的bytes的16进制值，可以参考下面的"str->bytes"的代码。

2.然后用

bytesVariable.decode("specificEncoding")

去解码为对应的str(即Unicode字符串)

其中：specificEncoding是该bytes的编码。

3.然后你就可以拿着Unicode的str，去做你想要的事情了

比如常见的打印出来看看。

【完整代码】

参见下面的：python_3.x_bytes_to_str.py

str

Unicode类型的字符串

Python 3.x中，直接输出的字符串(被单引号或双引号括起来的)，就已经是Unicode类型的str了。

当然，有一些前提：

Python文件开始已经声明对应的编码

Python文件本身的确是使用该编码保存的

两者的编码类型要一样(比如都是UTF-8或者都是GBK等)

这样Python解析器，才能正确的把你所输出字符串，解析为对应的unicode的str

str->bytes:

【核心代码逻辑】

1.默认写出的字符串，已经就是str，即Unicode，的类型了。

或者你之前已经获得了对应的unicode的str了。

注：当然，如果在Python文件中，需要满足下列条件：

A。Python文件开始已经声明对应的编码

B。Python文件本身的确是使用该编码保存的

C。两者的编码类型要一样(比如都是UTF-8或者都是GBK等)

2.然后调用

unicodeStr.encode("encodingType")

去编码为对应的字节序列bytes，

3.然后后续再进行相应的你所需要的处理

【完整代码】

参见下面的：python_3.x_str_to_bytes.py

演示代码

1.下面是上面相关的字符串转换，所用的示例代码。

如下代码，分别在：

Python 2.7.2

和

Python 3.2.2

中测试通过。

2. 你可以把如下对应的代码，保存为对应的文件。

其中，需要注意对应的Python文件所使用的编码，需要和其声明的编码(UTF-8)一致。

换句话说，你要把代码保存到UTF-8编码的Python文件中。

其中：

对于如何确保文件本身是何种编码的，以及如何转换为所需的编码类型，不了解的，可以参考：

3.如果你实在对编码不熟悉，那么直接下载对应的文件吧(右击另存为)：

python_2.x_unicode_to_str.py

python_2.x_str_to_unicode.py

python_3.x_str_to_bytes.py

python_3.x_bytes_to_str.py

更多内容

其他还有一些供参考的内容，感兴趣的自己去看：