浅谈编码和乱码

一:编码

     8个晶体管的开合来可以组合成不同的状态，我们把这种状态称为"字节"。它们一共可以组合出256(2的8次方)种不同的状态。又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号,这样就可以存储文字了,这就是----ASCII(American Standard Code for Information Interchange,美国信息互换标准码)编码,后来大部分国家都有计算机了,会发现256个根本不够用啊,中文就好几千个字,所以我们用两个字节表示汉字,在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了称之为----GB2312.

     再后来,每个国家都研究出一套自己编码规则,好吧世界都乱了,这时候天使出现了,一个叫 ISO （国际标谁化组织）的国际组织决定着手解决这个问题.他们废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码！他们打算叫它"Universal Multiple-Octet Coded Character Set"，简称 UCS, 俗称 "UNICODE".  ISO 就直接规定必须用两个字节,也就是16位来统一表示所有的字符,它总共可以组合出65535不同的字符. 好吧财大气粗,反正不是自己的硬盘, 但是，UNICODE 在制订时没有考虑与任何一种现有的编码方案保持兼容，这使得 GBK 与UNICODE 在汉字的内码编排上完全是不一样的，没有一种简单的算术方法可以把文本内容从UNICODE编码和另一种编码进行转换，这种转换必须通过查表来进行。

    讲到这里，我们再顺便说说一个很著名的奇怪现象：当你在 windows 的记事本里新建一个文件，输入"联通"两个字之后，保存，关闭，然后再次打开，你会发现这两个字已经消失了，代之的是几个乱码！呵呵，有人说这就是联通之所以拼不过移动的原因。

    UNICODE 来到时，一起到来的还有计算机网络的兴起，UNICODE 如何在网络上传输也是一个必须考虑的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF8就是每次8个位传输数据，而UTF16就是每次16个位，只不过为了传输时的可靠性，从UNICODE到UTF时并不是直接的对应，而是要过一些算法和规则来转换。

1. Unicode的问题

    需要注意的是，Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。比如，汉字“严”的unicode是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说这个符号的表示至少需要2个字节。表示其他更大的符号，可能需要3个字节或者4个字节，甚至更多,使计算机无法识别是那种编码。导致unicode在很长一段时间内无法推广，直到互联网的出现。

    随着互联网的普及，强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种unicode的实现方式。UTF-8是Unicode的实现方式之一。UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。设计了两条编码规则,使unicode可以转变成utf-8,才有了今天通用的编码方式.

 以上部分转自:http://blog.csdn.net/softmanfly/article/details/43611985