Python 2.x 字符编码问题

最新推荐文章于 2022-11-29 17:05:28 发布

烟火君

最新推荐文章于 2022-11-29 17:05:28 发布

阅读量601

点赞数

分类专栏： python 文章标签： python 编码二进制

本文链接：https://blog.csdn.net/preyta/article/details/70176526

版权

本文深入探讨了ASCII、Unicode、UTF-8和UTF-16编码在Python 2.x中的应用。重点介绍了Unicode作为字符集的统一标准，以及UTF-8如何作为Unicode的一种实现方式，提供对ASCII的兼容性。此外，还讨论了Python中的str和unicode类型，以及decode和encode操作在处理字符串编码问题中的作用。

摘要由CSDN通过智能技术生成

ASCII，Unicode，UTF-8 和 UTF-16

ASCII是一种我们最为熟悉的编码方式，从大一入学学C语言的时候就学过。那么到底什么是编码呢？我们知道数据实际上是以二进制的形式存储的，而我们人类可读的却是特定形式的字符（如’a’，’b’，’c’），而编码就是这样一种映射关系，它把每一个字符映射为一个二进制数，使得我们可以将数据存到内存或磁盘里。而 ASCII 码将英文字符映射为 8 比特二进制数，最多可以编码2**8-1=255 种不同字符。（ASCII 码）
但是世界上有很多种语言，比如汉语这种拥有上万字符的语言，用 ASCII 来编码显然是不够的，所以许多国家就出台了自己的编码规约，我国的简体中文的编码方式是 GBK。但是每个国家所出台的字符的编码方式，并不能兼容，带来了不小的麻烦。
那么 Unicode 又是什么呢？实际上 Unicode 是一种编码方式，只是它将字符映射为 16 比特长的二进制码，希望借此将所有语言的编码统一起来。所以 Unicode 是一种将一个字符转换为 16 个比特的编码方式，最多可以表示 65535 个不同字符（实际上现在 Unicode 可以表示超过百万个字符，但这不是今天的重点）。
那么 UTF-8，UTF-16 和 Unicode 又是什么关系？