UTF-8,UNICODE,Gb2312他们3个之间的相互转换

原创 2007年09月28日 09:21:00
.

UTF-8:   3字节一个字符
UNICODE: 2字节一个字符
GB2312:  1字节一个字符

例子:

“你”字的UTF-8编码: E4 BD A0        11100100 10111101 10100000
“你”的Unicode编码: 4F 60            01001111 01100000
按照UTF-8的编码规则,分解如下:xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起,就变成“你”的Unicode编码了。
注意UTF-8的最前面3个1,表示整个UTF-8串是由3个字节构成的。
经过UTF-8编码之后,再也不会出现敏感字符了,因为最高位始终为1。

类定义
class CChineseCode
{
   public:
       static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
       static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
       static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312
       static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成 Unicode
       static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8
       static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312
};

类实现

void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)
{
    char* uchar = (char *)pOut;

    uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
    uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);

    return;
}

void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)
{
    // 注意 WCHAR高低字的顺序,低字节在前,高字节在后
    char* pchar = (char *)pText;

    pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
    pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
    pOut[2] = (0x80 | (pchar[0] & 0x3F));

    return;
}

void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)
{
    WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
    return;
}    

void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
{
    ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
    return ;
}

void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
{
    char buf[4];
    int nLength = pLen* 3;
    char* rst = new char[nLength];
   
    memset(buf,0,4);
    memset(rst,0,nLength);
   
    int i = 0;
    int j = 0;     
    while(i < pLen)
    {
            //如果是英文直接复制就可以
            if( *(pText + i) >= 0)
            {
                    rst[j++] = pText[i++];
            }
            else
            {
                    wchar_t pbuffer;
                    Gb2312ToUnicode(&pbuffer,pText+i);
                   
                    UnicodeToUTF_8(buf,&pbuffer);
                   
                    unsigned short int tmp = 0;
                    tmp = rst[j] = buf[0];
                    tmp = rst[j+1] = buf[1];
                    tmp = rst[j+2] = buf[2];   
                   
                    j += 3;
                    i += 2;
            }
    }
    rst[j] = '/0';

    //返回结果
    pOut = rst;            
    delete []rst;  
   
    return;
}

void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
{
    char * newBuf = new char[pLen];
    char Ctemp[4];
    memset(Ctemp,0,4);

    int i =0;
    int j = 0;
   
    while(i < pLen)
    {
        if(pText[i] > 0)
        {
                newBuf[j++] = pText[i++];                      
        }
        else                
        {
                WCHAR Wtemp;
                UTF_8ToUnicode(&Wtemp,pText + i);
       
                UnicodeToGB2312(Ctemp,Wtemp);
           
                newBuf[j] = Ctemp[0];
                newBuf[j + 1] = Ctemp[1];

                i += 3;   
                j += 2;  
        }
    }
    newBuf[j] = '/0';
   
    pOut = newBuf;
    delete []newBuf;
   
    return;
}  
 

UTF-8,UNICODE,Gb2312他们3个之间的相互转换.

UTF-8:   3字节一个字符UNICODE: 2字节一个字符GB2312:  1字节一个字符例子:“你”字的UTF-8编码: E4 BD A0        11100100 10111101 1...
  • loulou_ff
  • loulou_ff
  • 2009年03月11日 18:12
  • 1194

UTF-8、GB2312、Unicode相互转换

    对于Windows平台下的开发而言,字符串的转换本不应成为问题,MS都已做好了现成的API,只需简单调用就OK了。但是,论坛上还是有朋友不断的询问如果在各编码集间进行字符串的转换,也不断的有“...
  • haungrui
  • haungrui
  • 2009年12月07日 19:21
  • 730

字符集之间转换(UTF-8,UNICODE,Gb2312)

字符集之间转换(UTF-8,UNICODE,Gb2312)特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.UTF-8:   1~3字节可变UNICODE: 2字节一个字符GB2...
  • xuweiqun
  • xuweiqun
  • 2006年11月07日 00:42
  • 35840

C++转换unicode utf-8 gb2312编码

windows开发环境下用VC++6.0 对unicode 、utf-8、 gb2312 三种编码格式之间的转换方法: #include #include #include using nam...
  • guzicheng
  • guzicheng
  • 2012年06月08日 14:44
  • 3301

利用iconv进行GB2312和Unicode的互转

利用iconv函数族进行编码转换 在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。 ...
  • rankun1
  • rankun1
  • 2016年03月16日 16:38
  • 1259

Unicode,UTF-8,UTF-16,UTF-32,gb2312,gbk区别

1.ascII码。 0x0*******; 总共127个。 有英文字母和符号。 好吧,问题来了。英文够用了,其他不够用啊。于是用两种方法解决:  a)GB2312 GBK 这一类的编码方...
  • u010276189
  • u010276189
  • 2015年11月21日 15:55
  • 1848

终于理解了unicode、utf-8、gb2312这些编码集之间的关系了

    这两天在写用python写vim脚本的时候遇到了要用这则匹配中文的情况。以前用c#和javascript来做的时候很简单只要用u[/u4e00-/u9fa5]来匹配就行了。可是在python中...
  • fuadam
  • fuadam
  • 2010年04月24日 15:28
  • 1587

GB2312 Unicode UTF-8 编码表

In this table you will find:       GB Code (in Hex notation)       Unicode Number       UTF-8 Cod...
  • YUAN1125
  • YUAN1125
  • 2016年04月03日 12:38
  • 4264

MFC中 GB2312、UTF-8、unicode 之间转换

//GB2312到UTF-8的转换 static int GB2312ToUtf8(const char* gb2312, char* utf8) { int len = MultiByteTo...
  • xiaopang1122
  • xiaopang1122
  • 2016年10月10日 10:21
  • 1594

UTF-8 GBK UTF8 GB2312 Unicode 之间的区别和关系

UTF-8:UnicodeTransformationFormat-8bit,允许含BOM,但通常不含BOM。是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24为(三个...
  • hecongzhen
  • hecongzhen
  • 2015年07月04日 23:03
  • 1297
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:UTF-8,UNICODE,Gb2312他们3个之间的相互转换
举报原因:
原因补充:

(最多只允许输入30个字)