计算机编码解惑

在编程的时候经常会遇到UTF8、UTF16.....等编码方式，那么这个编码的玩意儿到底都做了什么事儿呢？

先讲个故事吧（可参考原博客：https://www.cnblogs.com/dhsz/p/7737480.html）

• 众所周知，在盘古开天辟地之前,sorry ,走错片场了(⊙o⊙)…在计算机发明的时候 ,由于计算机你只能表示二进制的数据，美帝人民为了交流通信方便，约定了一个编码系统，就是ASCII码，把abc..xyz...ABC...XYZ...!@#...等字符分别和0,1,2,3,4......对应，发现差不多刚好128个数，半个字节的长度，为了防止以后需要为新的符号编码，于是干脆取一个字节，最高位置为0。后七位从0-127分别对每一个符号编码。
  • 于是，计算机每次读取一个字节，然后参照ASCII表把这些编码翻译成字符。美国人民很高兴，拿着自己玩去了.......

• 后来欧洲人也玩计算机，发现不行啊，还有很多符号（法语，德语，法语不仅有字母，而且还有音调的部分，所以ascii已经不能满足要求了）ASCII没办法表示啊，于是欧洲人自己也撸了一套编码，一个字节的长度，把最高位也用掉了。这套编码叫ISO。

  • 和ASCII表类似，计算机也是每次只读一个字节，然后按照ISO表，解码出字符。于是欧洲人民也很高兴。

• 中国人不高兴了，特么我们汉字有几万个，常用的就有几千个，没有两个字节根本交不了货。于是勤劳勇敢的中国人民就破天荒的用了两个字节来表示中文。整出一套GBK。为了现实我中华民族兼容并蓄，我们兼容了ASCII编码。

  • gbk编码规定，计算机不能在每次都只读一个字节那么死板了，你要先看看第一位是不是为0，要是为0 的话，就当作ASCII码来读入一个字节，不然的话就读入两个字节。
  • 为什么要看第一位是不是0呢，因为ascii一共是128个字符，只占用了后7个byte，所以会留下来一个首位0,但是中文或者其他字符的情况下，可能要用到两个字节来存储，这样，就可以用首位是否为0来区分；如果首位是0，那么就说明是ascii编码（只含有英文跟数字）；如果首位不是0，那么说明这个字符是用了两个字节来表示，接着往后读。
  • 计算机 : WTF ?? !!

于是天下就很乱了，欧洲人看不懂我们发过去的信息，我们也看不懂他们的东西，美国人看不懂我的东西，不过我们能看懂他们的信息。。。哈哈。

总之，天下大乱，群雄并起，百姓生灵涂........

这个时候，就有个国际组织站出来了，说，这么着吧，我来撸一套编码，把大家的编码都归纳进来。于是unicode编码就出现了。这套编码表的编号从0一直算到了100多万（三个字节）。每一个区间都对应着一种语言的编码。目前几乎收纳了全世界大部分的字符。所有的字符都有唯一的编号，这就解决了解码的冲突，于是大家是可以通过计算机互相通讯看懂语言的！但是，unicode把大家都归纳进来，却没有为编码的二进制传输和二进制解码做出规定，也就是没有统一编码的存储格式，使得程序根在存储和读取的时候，是按照二进制来进行存储还是按照十六进制来存储，读取也是。只留下一句：大哥只能帮你到这里了。所以unicode没有得到广泛推行。

后来的后来，出现了互联网，美国人想跟中国人说话，世界都想跟中国人说话，所以这个时候必须让所有国度的计算机理解unicode，所以UTF-8（二进制）、UTF-16（十六进制）等方式就应运而生了

 

UTF-8 就是在互联网上使用最广的一种 Unicode 的实现方式。

UTF-8 最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8 的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的 Unicode 码。因此对于英语字母，UTF-8 编码和 ASCII 码是相同的。

2）对于n字节的符号（n > 1），第一个字节的前n位都设为1，第n + 1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。