python 学习笔记（十）：字符编码问题

字符编码问题

• 字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。
  因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大整数是65535，4个字节可以表示的最大整数是4294967295。

1.ASCII 码

• 计算机是美国人发明的，因此，最早只有 128 个字符被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为 ASCII 码表。
  ASCII 码包含 128 个字符，使用 7 个比特位就可以表示全部字符，但为了提高读写效率，使用 8 个比特位（一个字节）来表示。
  

2.其他编码

• 但是要处理中文显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突，所以，中国制定了 GBK 编码，用来把中文编进去。全世界有上百种语言，日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里，各国有各国的标准，就会不可避免地出现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。

3.Unicode 编码

为了防止乱码问题的发生，Unicode应运而生。Unicode把所有语言都统一到一套编码里。

• Unicode 编码包含上百万个字符，位置靠前的字符用一个字节就能表示，位置靠后的字符需要用两个或者三个字节表示。
• 如果给每个字符分配三个字节，就会造成资源浪费；如果分配不同大小的字节，若没有特定的标记，计算机就无法区分字符
• Unicode 可以使用的编码有三种，分别是：
  （1）utf-8
  UTF-8 的编码规则是：用一个字节表示字符，那么最高的比特位为 0；如果有多个字节，那么第一个字节从最高位开始，连续有几个比特位的值为 1，就使用几个字节编码，剩下的字节均以 10 开头。
  • 0xxxxxxx：单字节编码，和 ASCII 编码完全相同，因此 utf-8 完全兼容 ASCII 码。
  • 110xxxxx 10xxxxxx：双字节编码
  • 1110xxxx 10xxxxxx 10xxxxxx：三字节编码
  • 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx：四字节编码

例如：对于字符 A 和 字符 “中”
A 对应的 ASCII 编码为 01000001；Unicode编码为 00000000 01000001；UTF-8编码为 01000001
“中” 没有对应的 ASCII 编码；Unicode 编码为 01001110 00101101；UTF-8 编码为 11100100 10111000 10101101

（2）utf-32
始终用四个字节表示，足够表示所有字符，只需要存储 unicode 编号，不需要进行编码转换，提升了效率，但浪费了空间。

（3）utf-16
使用 2 个或者 4 个字节存储。

4.计算机中通用的字符编码工作方式

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器：