《UTF-8与GB2312之间的互换》的改进[原创]

《UTF-8与GB2312之间的互换》的改进

作者：李天助

下载源代码

　　最近，在做一个小程序的时候，突然遇到了汉字编码转换问题。关于如何在UTF-8与GB2312之间转换的问题。在VC知识库里看到吴康彬的文章《UTF-8与GB2312之间的互换》，文章浅显易懂，代码也不长。省了我不少的找资料的时间。在此谢谢了。 ：）
　　在看代码的过程中，吴康彬用了许多字符串的转换，来进行2进制的运算，这就涉及到大量的IO操作，效率肯定比较低。而且编码转换的工作量往往非常大，因此效率问题很重要。而且，代码里，有许多，内存泄漏问题，可能是作者过于重视实现，没有注意这些细节问题。
　　闲话少说，开始正题。在UTF-8,与UNICODE之间转换的时候，用二进制运算，代替了字符串的转换。UTF-8一个汉字，用3个字节，而UNICODE用2个字节；对应关系如下：

UTF-8编码：         
      [1,1,1,0,A5,A6,A7,A8],    [1,0,B3,B4,B5,B6,B7,B8],            
      [1,0,C3,C4,C5,C6,C7,C8];

对应的UNICODE编码：

[A5,A6,A7,A8,B3,B4,B5,B6],         
      [B7,B8,C3,C4,C5,C6,C7,C8]

因此我们只需进行位操作，即可达到目的；如：

      // 把UTF-8转换成Unicode
      void CChineseCodeLib::UTF_8ToUnicode(WCHAR* pOut,char *pText)
      {
     	 char* uchar = (char *)pOut;
     	
     	 uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
     	 uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
     
     	 return;
      }

     // Unicode 转换成UTF-8 
     void CChineseCodeLib::UnicodeToUTF_8(char* pOut,WCHAR* pText)
     {
	      // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
	      char* pchar = (char *)pText;

	      pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
	      pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
	      pOut[2] = (0x80 | (pchar[0] & 0x3F));
	
	      return;
     }
     

     // 把Unicode 转换成 GB2312 
     void CChineseCodeLib::UnicodeToGB2312(char* pOut,unsigned short uData)
     {
	     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(WCHAR),NULL,NULL);
	     return;
     }     
     

     // GB2312 转换成　Unicode
     void CChineseCodeLib::Gb2312ToUnicode(WCHAR* pOut,char *gbBuffer)
     {
	     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
	     return;
     }
     

     //GB2312 转为 UTF-8
     void CChineseCodeLib::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
     {
           char buf[4];
           char* rst = new char[pLen + (pLen >> 2) + 2];
           
           memset(buf,0,4);
           memset(rst,0,pLen + (pLen >> 2) + 2);
           
           int i = 0;
           int j = 0;      
           while(i < pLen)
           {
                   //如果是英文直接复制就可以
                   if( *(pText + i) >= 0)
                   {
                           rst[j++] = pText[i++];
                   }
                   else
                   {
                           WCHAR pbuffer;
                           Gb2312ToUnicode(&pbuffer,pText+i);
                           
                           UnicodeToUTF_8(buf,&pbuffer);
                           
                           unsigned short int tmp = 0;
                           tmp = rst[j] = buf[0];
                           tmp = rst[j+1] = buf[1];
                           tmp = rst[j+2] = buf[2];
                           
                           
                           j += 3;
                           i += 2;
                   }
           }
           rst[j] = '/0';
   
           //返回结果
           pOut = rst;             
           delete []rst;   
           
           return;
     }
     

     //UTF-8 转为 GB2312
     void CChineseCodeLib::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
     {
         char * newBuf = new char[pLen];
         char Ctemp[4];
         memset(Ctemp,0,4);

         int i =0;
         int j = 0;
         
         while(i < pLen)
         {
                if(pText[i] > 0)
                {
                        newBuf[j++] = pText[i++];                       
                }
                else                 
                {
                        WCHAR Wtemp;
                        UTF_8ToUnicode(&Wtemp,pText + i);
                
                        UnicodeToGB2312(Ctemp,Wtemp);
                    
                        newBuf[j] = Ctemp[0];
                        newBuf[j + 1] = Ctemp[1];

                        i += 3;    
                        j += 2;   
                }
         }
         newBuf[j] = '/0';
         
         pOut = newBuf;
         delete []newBuf;
         
         return; 
     }

　　代码在WIN2K,VC++60 下编译，测试通过. 就说这么多吧，具体的大家看代码吧。草草的写的，大家莫笑，欢迎大家一起讨论； 觉觉罗。。。。

-----------------------------------------------------------------------------------------------------------------------------------------

源代码：

// ChineseCodeLib.h: interface for the CChineseCodeLib class.
//
//
#include<string>
using namespace std;

/*
功能：汉字GB2312与UTF-8编码互转
作者：litz
Email:mycro@163.com
参考：吴康彬先生的文章《UTF-8与GB2312之间的互换》
http://www.vckbase.com/document/viewdoc/?id=1397
*/

#if !defined(__CCHINESECODELIB_H_)
#define __CCHINESECODELIB_H_

class CChineseCodeLib
{
public:
 static void UTF_8ToGB2312(string& pOut,char *pText, int pLen);
 static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);
 // Unicode 转换成UTF-8
 static void UnicodeToUTF_8(char* pOut,WCHAR* pText);
 // GB2312 转换成　Unicode
 static void Gb2312ToUnicode(WCHAR* pOut,char *gbBuffer);
 // 把Unicode 转换成 GB2312
 static void UnicodeToGB2312(char* pOut,unsigned short uData);
 // 把UTF-8转换成Unicode
 static void UTF_8ToUnicode(WCHAR* pOut,char* pText);

 CChineseCodeLib();
 virtual ~CChineseCodeLib();
};

#endif // !defined(__CCHINESECODELIB_H_)

//-----------------------------------------------------------------------------

// ChineseCodeLib.cpp: implementation of the CChineseCodeLib class.
//
//

#include "stdafx.h"
#include "ChineseCodeLib.h"

//
// Construction/Destruction
//

CChineseCodeLib::CChineseCodeLib()
{

}

CChineseCodeLib::~CChineseCodeLib()
{

}

void CChineseCodeLib::UTF_8ToUnicode(WCHAR* pOut,char *pText)
{
 char* uchar = (char *)pOut;
 
 uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
 uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);

 return;
}

void CChineseCodeLib::UnicodeToGB2312(char* pOut,unsigned short uData)
{
 WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(WCHAR),NULL,NULL);
 return;
}

void CChineseCodeLib::Gb2312ToUnicode(WCHAR* pOut,char *gbBuffer)
{
 ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
 return;
}

void CChineseCodeLib::UnicodeToUTF_8(char* pOut,WCHAR* pText)
{
 // 注意 WCHAR高低字的顺序,低字节在前，高字节在后
 char* pchar = (char *)pText;

 pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
 pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
 pOut[2] = (0x80 | (pchar[0] & 0x3F));
 
 return;
}

void CChineseCodeLib::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
{
 char buf[4];
 char* rst = new char[pLen + (pLen >> 2) + 2];
 
 memset(buf,0,4);
 memset(rst,0,pLen + (pLen >> 2) + 2);
 
 int i = 0;
 int j = 0; 
 while(i < pLen)
 {
  //如果是英文直接复制就可以
  if( *(pText + i) >= 0)
  {
   rst[j++] = pText[i++];
  }
  else
  {
   WCHAR pbuffer;
   Gb2312ToUnicode(&pbuffer,pText+i);
   
   UnicodeToUTF_8(buf,&pbuffer);
   
   unsigned short int tmp = 0;
   tmp = rst[j] = buf[0];
   tmp = rst[j+1] = buf[1];
   tmp = rst[j+2] = buf[2];
   
   
   j += 3;
   i += 2;
  }
 }
 rst[j] = '/0';

 //返回结果
 pOut = rst;  
 delete []rst; 
 
 return;
}

void CChineseCodeLib::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
{
  char * newBuf = new char[pLen];
  char Ctemp[4];
  memset(Ctemp,0,4);

  int i =0;
  int j = 0;
 
  while(i < pLen)
  {
   if(pText[i] > 0)
  {
   newBuf[j++] = pText[i++];   
  }
  else                
  {
   WCHAR Wtemp;
   UTF_8ToUnicode(&Wtemp,pText + i);
  
   UnicodeToGB2312(Ctemp,Wtemp);
     
   newBuf[j] = Ctemp[0];
   newBuf[j + 1] = Ctemp[1];

   i += 3;   
   j += 2;  
  }
  }
  newBuf[j] = '/0';
 
  pOut = newBuf;
  delete []newBuf;
 
  return;
}