软件测试从业者要懂点字符编码

自从踏入IT这行开始，就的发现，字符的编码问题一直持续不断的影响着每一个从业者。开发语言有编码，就像Python就规定，源文件以UTF-8的方式存储。

 

文件有编码，就像Windows的记事本，写完内容保存时，可以选择文件的编码格式。

网页内容的显示有字符的编码格式。

数据库的设计需要选择和确定数据的字符编码。例如MySQL数据库支持的字符集：

一些测试工具在查看一些测试数据的时候，也需要设置字符的编码格式。例如Fiddler要在系统的注册表中设置参数，并将值改为UTF-8.

像这样的需要选择或者设置字符编码的情况实在是太多了，就不一一列举了。

然而正是由于这些各种各样的字符编码的存在，使得我们在做测试的时候，出现各种各样的乱码。比如网页显示乱码：

 

Python程序的运行也会出现乱码：

 

数据库存储的数据也会出现乱码：

 

使用JMeter发送请求，查看服务器的响应结果，也会出现乱码：

万般无奈之下，我们测试人员，不管是在学习的时候，还是在工作的时候，都需要认真的了解一些有关字符编码的内容和知识，不仅如此，我们还需要能把这些乱码的情况给处理好，否则我们就无法正常的工作和学习。

下面我们说说常见的字符编码的知识吧，怎么处理，后面再做总结。

太古老的咱就不说了，比如011000101……就说说后来人们发明的一批重要的字符集：

首先说ASCII。

因为可能是其他很多字符集的始祖。在计算机是美国人最先发明出来的，在之后的应用中，人们觉得0101的二进制太难了，于是就有一群人，他们决定用8个可以开合（0表示关，1表示开）的元器件来组合成不同的状态，让计算机能够识别世界的万物。于是把这称为”字节“。八位的字节一共可以组合出256(2的8次方)种不同的状态。从0开始的32种状态分别规定了特殊的用途，完成约定的动作，称为“控制码”。然后，将所有的空 格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。于是大家都把这个方案叫做”ASCII”编码（American Standard Code for Information Interchange，美国信息互换标准代码）。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。

后来计算机扩展到世界其他地方，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用 127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128 到255这一页的字符集被称”扩展字符集“。

接下来说说GB2312吧。计算机发展到后来，一些不使用拉丁字母和这些符号的国家也要使用计算机了，比如咱们中国。等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢？虽然是个问题，但是这难不倒我们智慧的中国人，我们不客气地把那些127号之后的奇异符号们直接取消掉, 规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的”全角”字符，而原来在127号以下的那些就叫”半角”字符了。 中国人民看到这样很不错，于是就把这种汉字方案叫做 “GB2312“。GB2312 是对 ASCII 的中文扩展。

再到后来，我们中国人突然发现，7000多个汉字根本就不够用啊，怎么办呢？于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。 后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。 后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK 扩成了 GB18030。

世界各地的人们都在热情的“造字”，但是也带来了一个问题，大家的语言互相都不支持，这时候，一个顶顶有名的组织——ISO（国际标谁化组织）决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码！它叫做”Universal Multiple-Octet Coded Character Set”，简称 UCS, 俗称 “unicode“。unicode开始制订时，计算机的存储器容量极大地发展了，空间再也不成为问题了。于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，对于ASCII里的那些“半角”字符，unicode 包持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。

但是比较悲剧的是，unicode 在很长一段时间内无法推广，直到互联网的出现，为解决 unicode 如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF-8就是每次8个位传输数据，而 UTF-16 就是每次16个位。UTF-8就是在互联网上使用最广的一种 unicode 的实现方式，这是为传输而设计的编码，并使编码无国界，这样就可以显示全世界上所有文化的字符了。UTF-8 最大的一个特点，就是它是一种可变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度，当字符在 ASCII 码的范围时，就用一个字节表示，保留了 ASCII 字符一个字节的编码做为它的一部分，注意的是 unicode 一个中文字符占2个字节，而UTF-8一个中文字符占3个字节）。从 unicode 到 uft-8 并不是直接的对应，而是要过一些算法和规则来转换。

具体的关于各种字符和编码的详细知识大家可以在百度或者其他官方的系统网站去查询和学习。