unicode 转 utf-8编码

一. Unicode介绍

Unicode 可使用下列任何一种字符编码方案来编码：

• UTF-8

• UTF-16

• UTF-32

Unicode编码方式的文件会有标志位，具体如下：

unicode文件头的标识
Byte-order mark Description
EF BB BF UTF-8
FF FE UTF-16 aka UCS-2, little endian
FE FF UTF-16 aka UCS-2, big endian
00 00 FF FE UTF-32 aka UCS-4, little endian.
00 00 FE FF UTF-32 aka UCS-4, big-endian.

UTF-8 是 Unicode 的一种可变长度编码形式，它透明地保留了 ASCII 字符代码值。该形式在 Solaris Unicode语言环境中用作文件代码。

UTF-16 是 Unicode 的一种 16 位编码形式。在 UTF-16 中，多达 65,535 个字符被编码为单个 16 位值。映射在65,535 到 1,114,111 的字符被编码为成对的 16 位值（代理）。

UTF-32 是 Unicode 的一种固定长度的 21 位编码形式，通常用在 32 位容器或数据类型中。该形式在 Solaris Unicode语言环境中用作进程代码（宽字符代码）。

我们通常说unicode的编码一般指UTF-16编码。

二.utf-8介绍

UTF-8就是在互联网上使用最广的一种unicode的实现方式。其他实现方式还包括UTF-16和UTF-32，不过在互联网上基本不用。重复一遍，这里的关系是，UTF-8是Unicode的实现方式之一。

Unicode是定长的，无论是什么都用两字节存储，而UTF-8是可变的，对于汉字来说Unicode占有的字节比UTF-8占用的字节少1个字节。Unicode为双字节，而UTF-8中汉字占三个字节。
                        网魂小兵http://xdotnet.cnblogs.com
UTF-8编码字符理论上可以最多到6个字节长,然而16位BMP（Basic Multilingual Plane）字符最多只用到3字节长。下面看一下UTF-8编码表：

        U-00000000 - U-0000007F: 0xxxxxxx
        U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
        U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
        U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
        U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
        U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

三.实现

 

void UnicodeToUTF_8(char* pText, char* pOut)
{
    char* pchar = (char *) pText;

    pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    pOut[2] = (0x80 | (pchar[0] & 0x3F));

    return;
}

这部分还没写完，待续....
 

参考文章：

http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

http://www.cnblogs.com/xdotnet/archive/2007/11/23/unicode_and_utf8.html

http://hi.baidu.com/lxf_120/item/d855536ea21e1135ad3e8328