收藏:《UTF-8与GB2312之间的互换》的改进

最近,在做一个小程序的时候,突然遇到了汉字编码转换问题。关于如何在UTF-8与GB2312之间转换的问题。在VC知识库里看到吴康彬的文章《UTF-8与GB2312之间的互换》,文章浅显易懂,代码也不长。省了我不少的找资料的时间。在此谢谢了。 :)

  在看代码的过程中,吴康彬用了许多字符串的转换,来进行2进制的运算,这就涉及到大量的IO操作,效率肯定比较低。而且编码转换的工作量往往非常大,因此效率问题很重要。而且,代码里,有许多,内存泄漏问题,可能是作者过于重视实现,没有注意这些细节问题。

  闲话少说,开始正题。在UTF-8,与UNICODE之间转换的时候,用二进制运算,代替了字符串的转换。UTF-8一个汉字,用3个字节,而UNICODE用2个字节;对应关系如下:
UTF-8编码:    
   [1,1,1,0,A5,A6,A7,A8],  [1,0,B3,B4,B5,B6,B7,B8],     
   [1,0,C3,C4,C5,C6,C7,C8];

  对应的UNICODE编码:

[A5,A6,A7,A8,B3,B4,B5,B6],    
   [B7,B8,C3,C4,C5,C6,C7,C8]
  因此我们只需进行位操作,即可达到目的;如:

   // 把UTF-8转换成Unicode
   void CChineseCodeLib::UTF_8ToUnicode(WCHAR* pOut,char *pText)
   {
      char* uchar = (char *)pOut;
     
      uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
      uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
  
      return;
   }
   // Unicode 转换成UTF-8
   void CChineseCodeLib::UnicodeToUTF_8(char* pOut,WCHAR* pText)
   {
     // 注意 WCHAR高低字的顺序,低字节在前,高字节在后
     char* pchar = (char *)pText;
     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
     pOut[2] = (0x80 | (pchar[0] & 0x3F));
  
     return;
   }
  
   // 把Unicode 转换成 GB2312
   void CChineseCodeLib::UnicodeToGB2312(char* pOut,unsigned short uData)
   {
     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(WCHAR),NULL,NULL);
     return;
   }  
  
   // GB2312 转换成 Unicode
   void CChineseCodeLib::Gb2312ToUnicode(WCHAR* pOut,char *gbBuffer)
   {
     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
     return;
   }
  
   //GB2312 转为 UTF-8
   void CChineseCodeLib::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
   {
      char buf[4];
      char* rst = new char[pLen + (pLen >> 2) + 2];
     
      memset(buf,0,4);
      memset(rst,0,pLen + (pLen >> 2) + 2);
     
      int i = 0;
      int j = 0;   
      while(i < pLen)
      {
          //如果是英文直接复制就可以
          if( *(pText + i) >= 0)
          {
              rst[j++] = pText[i++];
          }
          else
          {
              WCHAR pbuffer;
              Gb2312ToUnicode(&pbuffer,pText+i);
             
              UnicodeToUTF_8(buf,&pbuffer);
             
              unsigned short int tmp = 0;
              tmp = rst[j] = buf[0];
              tmp = rst[j+1] = buf[1];
              tmp = rst[j+2] = buf[2];
             
             
              j += 3;
              i += 2;
          }
      }
      rst[j] = '''';
 
      //返回结果
      pOut = rst;      
      delete []rst; 
     
      return;
   }
  
   //UTF-8 转为 GB2312
   void CChineseCodeLib::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
   {
     char * newBuf = new char[pLen];
     char Ctemp[4];
     memset(Ctemp,0,4);
     int i =0;
     int j = 0;
    
     while(i < pLen)
     {
        if(pText[i] > 0)
        {
            newBuf[j++] = pText[i++];           
        }
        else        
        {
            WCHAR Wtemp;
            UTF_8ToUnicode(&Wtemp,pText + i);
        
            UnicodeToGB2312(Ctemp,Wtemp);
          
            newBuf[j] = Ctemp[0];
            newBuf[j + 1] = Ctemp[1];
            i += 3;  
            j += 2; 
        }
     }
     newBuf[j] = '''';
    
     pOut = newBuf;
     delete []newBuf;
    
     return;
   }
  代码在WIN2K,VC++60 下编译,测试通过. 就说这么多吧,具体的大家看代码吧。草草的写的,大家莫笑,欢迎大家一起讨论; 觉觉罗。。。。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值