python3设置编码方式,Python3 里不存在编码问题？

编码问题在 Python 中一直是个巨坑。关于 Python 2 的编码问题，之前写过一篇文章：

在 Python 3 中，编码问题得到了改进，str 类型直接使用 unicode 进行存储，不带有编码。但真的就一劳永逸了吗？事实上，虽然填上了一些坑，但也会带来新的坑。尤其结合 Windows 使用，那酸爽……真是谁用谁知道😂。

Crossin编程教室的 WooDumpling 同学在学习中做了一点总结，分享 Python 3 的学习者。

相关概念

bytes unicode str

encode decodebytes

相当于Python2中的str类型，从网页上抓取下来的数据流也是该类型的

在Python3中，要得到一个byte类型的变量，可以在字符串内容前面加入b得到，但前提是该字符串的内容是可以完全由ascii码表示的，否则会出现语法错误>>>s1 = "你好"

>>>s1

'你好'

>>>type(s1)

>>>s2 = b'你好'

>>>

File "", line 1

SyntaxError: bytes can only contain ASCII literal characters.

>>>s2 = b'abc'

>>>s2

b'abc'

>>>type(s2)

unicode

unicode为解决传统字符编码的局限性而产生，为每一种语言的每一个字符设置了统一且唯一的二进制码，Python内部用于记录的也是该编码方式

上面的例子中s1就是通过unicode码来进行存储的str

在Python3中的str类型对应的就是Python2中的unicode类型，即以统一的unicode码保存。而且，在Python3中，程序中所设置的字符串即直接保存为统一的str类型(unicode)

上面的例子中s1就是str类型的变量encode与decode

由于存在着这两种不同的类型，势必要牵涉到二者的互相转化。bytes通过某一种编码方式(encode)得到str，而str通过某一种解码方式(decode)得到bytes

问题：为何会出现乱码的情况

unicode是表示了世界上所有的字符的, 但是其内部的存储是以二进制位存储的，比如你好的unicode编码为\u4f60\u597d

但是我们所见到的并不是\u4f60\u597d这一串编码，而是你好这两个汉字

这是由于控制台环境本身提供一个编码方式，比如uft-8，gbk，cp936等，通过这些编码方式，unicode码就转换成了我们可识别的字符了

但是，不同的编码方式之间是存在区别的，当得到一个通过A方式编码得到的bytes类型，如果用B方式去进行解码的话，它就会按照B的标准去解读，那样就会出现乱码的现象s = "你好"

print(s)

s1 = s.encode("utf-8").decode("gbk")

print(s1)

# output

# 你好

# 浣犲ソ

因此，开发的时候要弄清楚输入来源的编码以及输出环境的编码，尽可能保证一致性，或者做好转换的工作，可以减少出现乱码的可能性

问题：如何获取编码方式的信息？获取目标bytes的编码方式

这一情况可以通过chardet模块的detect()函数来获取信息，chardet是第三方库，可以通过pip来安装# b是待检测的bytes变量

import chardet

print(chardet.detect(b))

# output

# {'confidence': 1.0, 'encoding': 'ascii'}

confidence是指匹配程度，encoding是指可能的编码方式获取当前环境的编码方式

这一情况可以使用sys模块下的getdefaultencoding()函数来获取信息import sys

print(sys.getdefaultencoding())

# output

# utf-8

问题：在控制台上看到的到底是什么？

写上面的东西的时候产生了一个疑问，现在已经知道Python内部存储str的方式是使用unicode字符集，但是我们在屏幕上看到的并不是unicode字符集s = "你好"

print(s)

# output

# 你好

# s's unicode is \u4f60\u597d

那么，这中间应该是进行了某种转换

实际上，在执行print(str)的时候，python内部执行了encoding操作，控制台拿到的其实是一个bytes变量

之后，控制台又根据环境内部的编码方式，将所得到的bytes内容进行decoding的操作，就显示了原先str的内容