python3中默认的字符编码_python3中的字符编码问题

如果说在python2中处理字符编码很蛋疼的话，如果幻想着python3不那么蛋疼，那么我只想说，你想多了，好不容易在python2中把字符编码的问题捣腾清楚了，但是换成python3，它会将之前的体系重新构建，使得之前的知识体系不能很好的运用，只能重新来构建。感觉是从一个坑跳到了另外一个坑，下面来看看这个令人头疼的python编码问题。

python2中的编码处理

python2中将ASCII 码作为默认编码方式，对中文处理很不友好。

1

2

3>>>import sys

>>>sys.getdefaultencoding()

'ascii'

关于 GBK 和 UTF-8，概念性的东西就不解释了，网上一搜便知，这里主要是来说明一下，将一个 GBK 编码的字符串转换成 UTF-8 编码，只需要通过 Unicode 来转换

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15>>>s = '杨'

>>>s

'\xd1\xee'

>>>type(s)

>>> print s

杨

>>> su = s.decode('gbk')

>>>su

u'\u6768'

>>>sutf8 = su.encode('utf-8')

>>>sutf8

'\xe6\x9d\xa8'

>>>print sutf8

鏉?

其实就是将 unicode 作为一个中转站，将各种编码转换(decode)成unicode 使用 s.decode(chaset) ，然后再将unicode编码的字符串转换(encode)成想要的编码 s.encode(chaset)。

其实这么看在python2中的字符编码问题也不是很复杂，主要是要弄清楚字符串本身是什么编码即可。有一个库可以检测字符编码，chardet ，使用chardet.detect(str) 来检查字符串编码，注意，它这里给出的只能做为参考，并不能很准确的给出编码，所以他的返回值中会有一个 confidence 的值，如果值是1.0，说明它100%的肯定是这个编码。

python3中的编码处理

再来看看python3的编码处理，python3中将unicode合并成了str，已经没有unicode这种类型了。

1

2

3

4

5

6

7

8

9

10>>>s = '杨'

>>>type(s)

>>> su = u'杨'

>>>type(su)

>>> s

'杨'

>>> su

'杨'

可以看出它们都是 str 类型。

那么如何在python3中将一个GBK编码的字符串转成utf-8呢？

python3中有一种全新的数据类型 bytes ，它表示二进制字节数据，初始化是在字符前加 b ,bytes 类型可以是 ASCII范围内的字符和其它十六进制形式的字符数据，但不能用中文等非ASCII字符表示。

1

2

3

4

5

6

7

8

9

10

11>>>b = b'a'

>>>b

b'a'

>>>type(b)

>>> a = 'a'

>>>type(a)

>>> b = b'杨彦星'

File "", line 1

SyntaxError: bytes can only contain ASCII literal characters.

虽然在python3中不能直接的以 b = b'杨彦星' 来初始化bytes，但是却可以用在python2中得到的十六进制码表示来初始化

在python2中

1

2

3>>>'杨彦星'

'\xd1\xee\xd1\xe5\xd0\xc7'

>>>

在python3中

1

2

3

4

5

6

7

8

9

10

11>>>s = b'\xd1\xee\xd1\xe5\xd0\xc7'

>>>print(s)

b'\xd1\xee\xd1\xe5\xd0\xc7'

>>>type(s)

>>> ss = s.decode('gbk')

>>>ss

'杨彦星'

>>>type(ss)

>>>

熟悉的中文又出现了，有了str 那么就可以将其转换成对应的编码了

1

2>>>ss.encode('utf-8')

b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f'

依然不知道它显示的是个啥，但是你可以明确的知道，它在python3里就是杨彦星这个字符串的utf-8编码

1

2

3>>>s8 = b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f'

>>>s8.decode('utf-8')

'杨彦星'

十六进制中文码转bytes

还有一种需求，给你一个十六进制中文码字符串，有时候会从一些不是很规范的接口中获得的数据 ，比如 ‘\xbd\xf1\xcc\xec\xcc\xec\xc6\xf8\xb2\xbb\xb4\xed’,这时候该怎么把它转成str呢？

在这种情况下，可以使用’iso-8859-1’来初始化bytes

1

2

3

4

5>>>s = '\xbd\xf1\xcc\xec\xcc\xec\xc6\xf8\xb2\xbb\xb4\xed'

>>>bytes(s,'iso-8859-1')

b'\xbd\xf1\xcc\xec\xcc\xec\xc6\xf8\xb2\xbb\xb4\xed'

>>>bytes(s,'iso-8859-1').decode('gbk')

'今天天气不错'

如果明确知道十六进制字符码是UTF-8的，则在decode时可以不加参数

1

2

3>>>s = '\xe4\xbb\x8a\xe5\xa4\xa9\xe5\xa4\xa9\xe6\xb0\x94\xe4\xb8\x8d\xe9\x94\x99'

>>>bytes(s,'iso-8859-1').decode()

'今天天气不错'

最后使用代码做个总结

1

2

3

4

5

6

7

8

9

10

11

12

13

14str = '杨彦星'

str_utf8 = str.encode('UTF-8')

str_gbk = str.encode('GBK')

print(str)

print('str 对象类型：', type(str))

print('\r')

print('UTF-8 编码：', str_utf8)

print('str_utf-8 对象类型：', type(str_utf8))

print('\r')

print('GBK 编码： ', str_gbk)

print('str_gbk 对象类型：', type(str_gbk))

print('\r')

print('UTF-8 解码：', str_utf8.decode('UTF-8', 'strict'))

print('GBK 解码： ', str_gbk.decode('GBK', 'strict'))

结果如下

1

2

3

4

5

6

7

8

9

10

11杨彦星

str 对象类型：

UTF-8 编码： b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f'

str_utf-8 对象类型：

GBK 编码： b'\xd1\xee\xd1\xe5\xd0\xc7'

str_gbk 对象类型：

UTF-8 解码： 杨彦星

GBK 解码： 杨彦星

参考文章