UCS-2编码与UTF-8编码

我们都知道对于UNICODE来说， UCS-2 是内码，而UTF-8则是它的实现方式。每一个字节都有8个位，而对于UTF-8来说，每一个字节的前两位尤为重要，按照前两位的不同，一共有四种排列组合：00xxxxxx，01xxxxxx，10xxxxxx，11xxxxxx。 

按照UTF-8标准： 

（1）所有以0开始的字节，都与原来的ASCII码兼容，也就是说，0xxxxxxx不需要额外转换，就是我们平时用的ASCII码。 

（2）所有以10开始的字节，都不是每个UNICODE的第一个字节，都是紧跟着前一位。例如：10110101，这个字节不可以单独解析，必须通过前一个字节来解析，如果前一个也是10开头，就继续前嗍。 

（3）所有以11开始的字节，都表示是UNICODE的第一个字节，而且后面紧跟着若干个以10开头的字节。如果是110xxxxx（就是最左边的0的左边有2个1），代表后面还有1个10xxxxxx；如果是1110xxxx（就是最左边的0的左边有3个1），代表后面还有2个10xxxxxx；以此类推，一直到1111110x。 

具体的表格如下： 

1字节 0xxxxxxx 
2字节 110xxxxx 10xxxxxx 
3字节 1110xxxx 10xxxxxx 10xxxxxx 
4字节 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 
5字节 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 
6字节 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 

（很明显，以11开头的，最左边的0左边有多少个1，那这个UCS的UTF-8的表示长度就有多少个字节） 

上面是用6个字节，最多可以表示2 ^ 31个的字符，实际上，只有UCS-4才有这么多的字符，对于 UCS-2 ，仅仅有2 ^ 16个字符，只需要三个字节就可以，也就是说，只需要用到下面的格式： 

1字节 0xxxxxxx 
2字节 110xxxxx 10xxxxxx 

3字节 1110xxxx 10xxxxxx 10xxxxxx 

UCS-2和UTF-8的转换，只涉及到位运算，不需要像GBK般需要查找代码表，所以转换效率很高。 

先来说说UTF-8转UCS-2： 

（1）对于以0开始的字节，直接在前面部补一个0的字节凑成2个字节（即0xxxxxxx ==> 00000000 0xxxxxxxx）； 
（2）对于以110开始（110xxxxx）的字节，把后面紧跟着的一个10xxxxxx拿过来，首先在高位字节的左边补5个零，然后把11个“x”放在右边（即110xxxxx 10yyyyyy ==> 00000xxx xxyyyyyy）； 
（3）对于以1110开始（1110xxxx）的字节，把后面紧跟着的两个10xxxxxx拿过来，数一下，一共有16个“x”，没错，就是把这16个“x”组成两个字节（即1110xxxx 10yyyyyy 10zzzzzz ==> xxxxyyyy yyzzzzzz）。 

在来说说UCS-2转UTF-8： 

（1）对于不大于0x007F（即00000000 01111111）的，直接把它转成一个字节，变成ASCII； 
（2）对于不大于0x07FF（即00000111 11111111）的，转换成两个字节，转换的时候把右边的11位分别放到110xxxxx 10yyyyyy里边，即00000aaa bbbbbbbb ==> 110aaabb 10bbbbbb 
（3）剩下的回转换成三个字节，转换的时候也是把16个位分别填写到那三个字节里面，即aaaaaaaa bbbbbbbb ==> 1110aaaa 10aaaabb 10bbcccccc 

转自：http://blog.chinaunix.net/uid-20754930-id-1877601.html