《UTF-8与GB2312之间的互换》

最新推荐文章于 2021-06-23 16:02:20 发布

wby__2005

最新推荐文章于 2021-06-23 16:02:20 发布

阅读量708

点赞数

分类专栏： BASE

BASE 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

最近，在做一个小程序的时候，突然遇到了汉字编码转换问题。关于如何在UTF-8与GB2312之间转换的问题。在VC知识库里看到吴康彬的文章《UTF-8与GB2312之间的互换》，文章浅显易懂，代码也不长。省了我不少的找资料的时间。在此谢谢了。：）

在看代码的过程中，吴康彬用了许多字符串的转换，来进行2进制的运算，这就涉及到大量的IO操作，效率肯定比较低。而且编码转换的工作量往往非常大，因此效率问题很重要。而且，代码里，有许多，内存泄漏问题，可能是作者过于重视实现，没有注意这些细节问题。

闲话少说，开始正题。在UTF-8,与UNICODE之间转换的时候，用二进制运算，代替了字符串的转换。UTF-8一个汉字，用3个字节，而UNICODE用2个字节；对应关系如下：

 
   1. 
   UTF-8编码：           
  
   2. 
         [1,1,1,0,A5,A6,A7,A8],    [1,0,B3,B4,B5,B6,B7,B8],              
  
   3. 
         [1,0,C3,C4,C5,C6,C7,C8];

对应的UNICODE编码：

1. [A5,A6,A7,A8,B3,B4,B5,B6],

2. [B7,B8,C3,C4,C5,C6,C7,C8]

因此我们只需进行位操作，即可达到目的；如：

 
   01. 
         // 把UTF-8转换成Unicode  
  
   02. 
         void CChineseCodeLib::UTF_8ToUnicode(WCHAR* pOut,char *pText)  
  
   03. 
         {  
  
   04. 
            char* uchar = (char *)pOut;  
  
   05. 
              
   06. 
            uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);  
  
   07. 
            uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);  
  
   08. 
           
   09. 
            return;  
  
   10. 
         }

 
   01. 
   // Unicode 转换成UTF-8   
  
   02. 
   void CChineseCodeLib::UnicodeToUTF_8(char* pOut,WCHAR* pText)  
  
   03. 
   {  
  
   04. 
        // 注意 WCHAR高低字的顺序,低字节在前，高字节在后  
  
   05. 
        char* pchar = (char *)pText;  
  
   06. 
        pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));  
  
   07. 
        pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);  
  
   08. 
        pOut[2] = (0x80 | (pchar[0] & 0x3F));  
  
   09. 
        return;  
  
   10. 
   }

 
   1. 
   // 把Unicode 转换成 GB2312   
  
   2. 
   void CChineseCodeLib::UnicodeToGB2312(char* pOut,unsigned short uData)  
  
   3. 
   {  
  
   4. 
       WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(WCHAR),NULL,NULL);  
  
   5. 
       return;  
  
   6. 
   }

 
   1. 
   // GB2312 转换成　Unicode  
  
   2. 
   void CChineseCodeLib::Gb2312ToUnicode(WCHAR* pOut,char *gbBuffer)  
  
   3. 
   {  
  
   4. 
       ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);  
  
   5. 
       return;  
  
   6. 
   }

 
   01. 
   //GB2312 转为 UTF-8  
  
   02. 
   void CChineseCodeLib::GB2312ToUTF_8(string& pOut,char *pText, int  pLen)  
  
   03. 
   {  
  
   04. 
         char buf[4];  
  
   05. 
         char* rst = new char[pLen + (pLen >> 2) + 2];  
  
   06. 
            
   07. 
         memset(buf,0,4);  
  
   08. 
         memset(rst,0,pLen + (pLen >> 2) + 2);  
  
   09. 
            
   10. 
         int i = 0;  
  
   11. 
         int j = 0;        
  
   12. 
         while(i < pLen)  
  
   13. 
         {  
  
   14. 
                 //如果是英文直接复制就可以  
  
   15. 
                 if( *(pText + i) >= 0)  
  
   16. 
                 {  
  
   17. 
                         rst[j++] = pText[i++];  
  
   18. 
                 }  
  
   19. 
                 else 
  
   20. 
                 {  
  
   21. 
                         WCHAR pbuffer;  
  
   22. 
                         Gb2312ToUnicode(&pbuffer,pText+i);  
  
   23. 
                            
   24. 
                         UnicodeToUTF_8(buf,&pbuffer);  
  
   25. 
                            
   26. 
                         unsigned short int tmp = 0;  
  
   27. 
                         tmp = rst[j] = buf[0];  
  
   28. 
                         tmp = rst[j+1] = buf[1];  
  
   29. 
                         tmp = rst[j+2] = buf[2];  
  
   30. 
                            
   31. 
                            
   32. 
                         j += 3;  
  
   33. 
                         i += 2;  
  
   34. 
                 }  
  
   35. 
         }  
  
   36. 
         rst[j] = ''\0'';  
  
   37. 
         //返回结果  
  
   38. 
         pOut = rst;               
  
   39. 
         delete []rst;     
  
   40. 
            
   41. 
         return;  
  
   42. 
   }

 
   01. 
   //UTF-8 转为 GB2312  
  
   02. 
   void CChineseCodeLib::UTF_8ToGB2312(string &pOut, char *pText, int  pLen)  
  
   03. 
   {  
  
   04. 
       char * newBuf = new  char[pLen];  
  
   05. 
       char Ctemp[4];  
  
   06. 
       memset(Ctemp,0,4);  
  
   07. 
       int i =0;  
  
   08. 
       int j = 0;  
  
   09. 
          
   10. 
       while(i < pLen)  
  
   11. 
       {  
  
   12. 
              if(pText[i] > 0)  
  
   13. 
              {  
  
   14. 
                      newBuf[j++] = pText[i++];                         
  
   15. 
              }  
  
   16. 
              else                  
  
   17. 
              {  
  
   18. 
                      WCHAR Wtemp;  
  
   19. 
                      UTF_8ToUnicode(&Wtemp,pText + i);  
  
   20. 
                 
   21. 
                      UnicodeToGB2312(Ctemp,Wtemp);  
  
   22. 
                     
   23. 
                      newBuf[j] = Ctemp[0];  
  
   24. 
                      newBuf[j + 1] = Ctemp[1];  
  
   25. 
                      i += 3;      
  
   26. 
                      j += 2;     
  
   27. 
              }  
  
   28. 
       }  
  
   29. 
       newBuf[j] = ''\0'';  
  
   30. 
          
   31. 
       pOut = newBuf;  
  
   32. 
       delete []newBuf;  
  
   33. 
          
   34. 
       return;   
  
   35. 
   }

代码在WIN2K,VC++60 下编译，测试通过. 就说这么多吧，具体的大家看代码吧。草草的写的，大家莫笑，欢迎大家一起讨论；觉觉罗。。。。

http://www.vckbase.com/index.php/wv/1163

wby__2005

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
《UTF-8与GB2312之间的互换》

最近，在做一个小程序的时候，突然遇到了汉字编码转换问题。关于如何在UTF-8与GB2312之间转换的问题。在VC知识库里看到吴康彬的文章《UTF-8与GB2312之间的互换》，文章浅显易懂，代码也不长。省了我不少的找资料的时间。在此谢谢了。：）在看代码的过程中，吴康彬用了许多字符串的转换，来进行2进制的运算，这就涉及到大量的IO操作，效率肯定比较低。而且编码转换的工作量往往非常大，因此效
复制链接

扫一扫

专栏目录