字符编码之间的相互转换 UTF8与GBK

一 预备知识

1,字符:字符是抽象的最小文本单位。它没有固定的形状(可能是一个字形),而且没有值。“A”是一个字符,“€”(德国、法国和许多其他欧洲国家通用货币的标志)也是一个字符。“中”“国”这是两个汉字字符。字符仅仅代表一个符号,没有任何实际值的意义。

2,字符集:字符集是字符的集合。例如,汉字字符是中国人最先发明的字符,在中文、日文、韩文和越南文的书写中使用。这也说明了字符和字符集之间的关系,字符组成字符集(iso8859-1,GB2312/GBK,unicode)。

3,代码点:字符集中的每个字符都被分配到一个“代码点”。每个代码点都有一个特定的唯一数值,称为标值。该标量值通常用十六进制表示。

4,代码单元: 在每种编码形式中,代码点被映射到一个或多个代码单元。“代码单元”是各个编码方式中的单个单元。代码单元的大小等效于特定编码方式的位数: UTF-8 :UTF-8 中的代码单元由 8 位组成;在 UTF-8 中,因为代码单元较小的缘故,每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个、三个或四个代码单元; UTF-16 :UTF-16 中的代码单元由 16 位组成;UTF-16 的代码单元大小是 8 位代码单元的两倍。所以,标量值小于 U+10000 的代码点被编码到单个代码单元中; UTF-32:UTF-32  中的代码单元由 32 位组成; UTF-32 中使用的 32 位代码单元足够大,每个代码点都可编码为单个代码单元; GB18030:GB18030  中的代码单元由 8 位组成;在 GB18030 中,因为代码单元较小的缘故,每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个或四个代码单元。

5,举例: “中国北京香蕉是个大笨蛋”这是我定义的aka字符集;

各字符对应代码点为:

北 00000001

京 00000010

香 10000001

蕉 10000010

是 10000100

个 10001000

大 10010000

笨 10100000

蛋 11000000

中 00000100

国 00001000

下面是我定义的 zixia 编码方案(8位),可以看到它的编码中表示了aka字符集的所有字符对应的 代码单元;

北 10000001 京 10000010 香 00000001 蕉 00000010 是 00000100 个 00001000 大 00010000 笨 00100000 蛋 01000000 中 10000100 国 10001000

所谓文本文件 就是我们按一定编码方式将二进制数据表示为对应的文本如 00000001000000100000010000001000000100000010000001000000这样的文件。我用一个支持 zixia编码和aka字符集的记事本打开,它就按照编码方案显示为  “香蕉是个大笨蛋 ” 如果我把这些字符按照GBK另存一个文件,那么则肯定不是这个,而是 1100111111100011 1011110110110110 1100101011000111 1011100011110110 1011010011110011 1011000110111111 1011010110110000 110100001010

 

二,字符集

1, 常用字符集分类 ASCII及其扩展字符集 作用:表语英语及西欧语言。 位数:ASCII是用7位表示的,能表示128个字符;其扩展使用8位表示,表示256个字符。 范围:ASCII从00到7F,扩展从00到FF。 ISO-8859-1字符集 作用:扩展ASCII,表示西欧、希腊语等。 位数:8位, 范围:从00到FF,兼容ASCII字符集。 GB2312字符集 作用:国家简体中文字符集,兼容ASCII。 位数:使用2个字节表示,能表示7445个符号,包括6763个汉字,几乎覆盖所有高频率汉字。 范围:高字节从A1到F7, 低字节从A1到FE。将高字节和低字节分别加上0XA0即可得到编码。 BIG5字符集 作用:统一繁体字编码。 位数:使用2个字节表示,表示13053个汉字。 范围:高字节从A1到F9,低字节从40到7E,A1到FE。 GBK字符集 作用:它是GB2312的扩展,加入对繁体字的支持,兼容GB2312。 位数:使用2个字节表示,可表示21886个字符。 范围:高字节从81到FE,低字节从40到FE。 GB18030字符集 作用:它解决了中文、日文、朝鲜语等的编码,兼容GBK。 位数:它采用变字节表示(1 ASCII,2,4字节)。可表示27484个文字。 范围:1字节从00到7F; 2字节高字节从81到FE,低字节从40到7E和80到FE;4字节第一三字节从81到FE,第二四字节从30到39。 UCS字符集 作用:国际标准 ISO 10646 定义了通用字符集 (Universal Character Set)。它是与UNICODE同类的组织,UCS-2和UNICODE兼容。 位数:它有UCS-2和UCS-4两种格式,分别是2字节和4字节。 范围:目前,UCS-4只是在UCS-2前面加了0×0000。 UNICODE字符集 作用:为世界650种语言进行统一编码,兼容ISO-8859-1。 位数:UNICODE字符集有多个编码方式,分别是UTF-8,UTF-16和UTF-32。

 

2 ,按所表示的文字分类 语言                                 字符集                                     正式名称 英语、西欧语                     ASCII,ISO-8859-1               MBCS 多字节 简体中文                             GB2312                                    MBCS 多字节 繁体中文                             BIG5                                         MBCS 多字节 简繁中文                             GBK                                         MBCS 多字节 中文、日文及朝鲜语         GB18030                                  MBCS 多字节 各国语言                             UNICODE,UCS                    DBCS 宽字节 

 

,编码 UTF-8:采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示,网络传输, 即使错了一个字节,不影响其他字节,而双字节只要一个错了,其他也错了,具体如下: 如果只有一个字节则其最高二进制位为0;如果是多字节,其第一个字节从最高位开始,连续的二进制位值为1的个数决定了其编码的字节数,其余各字节均以10开头。UTF-8最多可用到6个字节。 UTF-16:采用2字节,Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。从 0×0000到0×007F是ASCII字符,从0×0080到0×00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0×0370到 0×03FF 的代码,斯拉夫语使用从0×0400到0×04FF的代码,美国使用从0×0530到0×058F的代码,希伯来语使用从0×0590到0×05FF的代码。中国、日本和韩国的象形文字(总称为CJK)占用了从0×3000到0×9FFF的代码;由于0×00在c语言及操作系统文件名等中有特殊意义,故很多情况下需要UTF-8编码保存文本,去掉这个0×00。举例如下: UTF-16: 0×0080  = 0000 0000 1000 0000 UTF-8:   0xC280 = 1100 0010 1000 0000 UTF-32:采用4字节。 优缺点 UTF-8、UTF-16和UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。 使用UTF-8编码时ASCII字符只占1个字节,存储效率比较高,适用于拉丁字符较多的场合以节省空间。 对于大多数非拉丁字符(如中文和日文)来说,UTF-16所需存储空间最小,每个字符只占2个字节。 Windows NT内核是Unicode(UTF-16),采用UTF-16编码在调用系统API时无需转换,处理速度也比较快。 采用UTF-16和UTF-32会有Big Endian和Little Endian之分,而UTF-8则没有字节顺序问题,所以UTF-8适合传输和通信。 UTF-32采用4字节编码,一方面处理速度比较快,但另一方面也浪费了大量空间,影响传输速度,因而很少使用。

 

四,如何判断字符集 1,字节序 首先说一下字节序对编码的影响,字节序分为Big Endian字节序和Little Endian字节序。不同的处理器可能不一样。所以,传输时需要告诉处理器当时的编码字节序。对于前者而言,高位字节存在低地址,低字节存于高地址;后者相反。例如,0X03AB, Big Endian字节序 0000: 0 3 0001: AB Little Endian字节序是 0000: AB 0001: 0 3 2,编码识别 UNICODE,根据前几个字节可以判断UNICODE字符集的各种编码,叫做Byte Order Mask方法BOM: UTF-8: EFBBBF (符合UTF-8格式,请看上面。但没有含义在UCS即UNICODE中) UTF-16 Big Endian:FEFF (没有含义在UCS-2中) UTF-16 Little Endian:FFFE (没有含义在UCS-2中) UTF-32 Big Endian:0000FEFF (没有含义在UCS-4中) UTF-32 Little Endian:FFFE0000 (没有含义在UCS-4中) GB2312:高字节和低字节的第1位都是1。 BIG5,GBK&GB18030:高字节的第1位为1。操作系统有默认的编码,常为GBK,可以下载别的并升级。 通过判断高字节的第1位从而知道是ASCII或者汉字编码。

 

复制代码

#include <stdio.h>
#include <windows.h>

//GBK编码转换到UTF8编码
int GBKToUTF8(unsigned char * lpGBKStr,unsigned char * lpUTF8Str,int nUTF8StrLen)
{
    wchar_t * lpUnicodeStr = NULL;
    int nRetLen = 0;

    if(!lpGBKStr)  //如果GBK字符串为NULL则出错退出
        return 0;

    nRetLen = ::MultiByteToWideChar(CP_ACP,0,(char *)lpGBKStr,-1,NULL,NULL);  //获取转换到Unicode编码后所需要的字符空间长度
    lpUnicodeStr = new WCHAR[nRetLen + 1];  //为Unicode字符串空间
    nRetLen = ::MultiByteToWideChar(CP_ACP,0,(char *)lpGBKStr,-1,lpUnicodeStr,nRetLen);  //转换到Unicode编码
    if(!nRetLen)  //转换失败则出错退出
        return 0;

    nRetLen = ::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,NULL,0,NULL,NULL);  //获取转换到UTF8编码后所需要的字符空间长度
    
    if(!lpUTF8Str)  //输出缓冲区为空则返回转换后需要的空间大小
    {
        if(lpUnicodeStr)       
  delete []lpUnicodeStr;
        return nRetLen;
    }
    
    if(nUTF8StrLen < nRetLen)  //如果输出缓冲区长度不够则退出
    {
        if(lpUnicodeStr)
            delete []lpUnicodeStr;
        return 0;
    }

    nRetLen = ::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,(char *)lpUTF8Str,nUTF8StrLen,NULL,NULL);  //转换到UTF8编码
    
    if(lpUnicodeStr)
        delete []lpUnicodeStr;
    
    return nRetLen;
}

 //使用这两个函数的例子
int main()
{
    char cGBKStr[] = "我是中国人!";
    char * lpGBKStr = NULL;
    char * lpUTF8Str = NULL;
    FILE * fp = NULL;
    int nRetLen = 0;

    nRetLen = GBKToUTF8((unsigned char *) cGBKStr,NULL,NULL);
    printf("转换后的字符串需要的空间长度为:%d ",nRetLen);
    lpUTF8Str = new char[nRetLen + 1];
    nRetLen = GBKToUTF8((unsigned char *)cGBKStr,(unsigned char *)lpUTF8Str,nRetLen);
    if(nRetLen)
    {
        printf("GBKToUTF8转换成功!");
    }
 else
    {
        printf("GBKToUTF8转换失败!");
        goto Ret0;
    }
 fp = fopen("C:\\GBKtoUTF8.txt","wb");  //保存到文本文件
    fwrite(lpUTF8Str,nRetLen,1,fp);
    fclose(fp);
    getchar();  //先去打开那个文本文件看看,单击记事本的“文件”-“另存为”菜单,在对话框中看到编码框变为了“UTF-8”说明转换成功了
   
    Ret0:
    
 {
  if(lpGBKStr)
         delete []lpGBKStr;
     if(lpUTF8Str)
         delete []lpUTF8Str; 
 }
 return 0;
}

复制代码

 


Karlson,2009-07-25 13:39:57

复制代码

  1 class CChineseCode  
  2 
  3 {  
  4 
  5   public:  
  6 
  7       static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode  
  8 
  9       static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8  
 10 
 11       static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312    
 12 
 13       static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成 Unicode  
 14 
 15       static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8  
 16 
 17       static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312  
 18 
 19 };  
 20 
 21 类实现  
 22 
 23 void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)  
 24 
 25 {  
 26 
 27    char* uchar = (char *)pOut;  
 28 
 29    uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);  
 30 
 31    uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);  
 32 
 33    return;  
 34 
 35 }  
 36 
 37 void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)  
 38 
 39 {  
 40 
 41    // 注意 WCHAR高低字的顺序,低字节在前,高字节在后  
 42 
 43    char* pchar = (char *)pText;  
 44 
 45    pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));  
 46 
 47    pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);  
 48 
 49    pOut[2] = (0x80 | (pchar[0] & 0x3F));  
 50 
 51    return;  
 52 
 53 }  
 54 
 55 void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)  
 56 
 57 {  
 58 
 59   WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);  
 60 
 61    return;  
 62 
 63 }        
 64 
 65 void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)  
 66 
 67 {  
 68 
 69    ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);  
 70 
 71    return ;  
 72 
 73 }  
 74 
 75 void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)  
 76 
 77 {  
 78 
 79    char buf[4];  
 80 
 81    int nLength = pLen* 3;  
 82 
 83    char* rst = new char[nLength];  
 84 
 85    memset(buf,0,4);  
 86 
 87    memset(rst,0,nLength);  
 88 
 89    int i = 0;  
 90 
 91    int j = 0;        
 92 
 93    while(i < pLen)  
 94 
 95    {  
 96 
 97            //如果是英文直接复制就可以  
 98 
 99            if( *(pText + i) >= 0)  
100 
101            {  
102 
103                    rst[j++] = pText[i++];  
104 
105            }  
106 
107            else  
108 
109            {  
110 
111                    wchar_t pbuffer;  
112 
113                    Gb2312ToUnicode(&pbuffer,pText+i);  
114 
115                    UnicodeToUTF_8(buf,&pbuffer);  
116 
117                    unsigned short int tmp = 0;  
118 
119                    tmp = rst[j] = buf[0];  
120 
121                    tmp = rst[j+1] = buf[1];  
122 
123                    tmp = rst[j+2] = buf[2];      
124 
125                    j += 3;  
126 
127                    i += 2;  
128 
129            }  
130 
131    }  
132 
133    rst[j] = '';  
134 
135    //返回结果  
136 
137    pOut = rst;                
138 
139    delete []rst;     
140 
141    return;  
142 
143 }  
144 
145 void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)  
146 
147 {  
148 
149    char * newBuf = new char[pLen];  
150 
151    char Ctemp[4];  
152 
153    memset(Ctemp,0,4);  
154 
155    int i =0;  
156 
157    int j = 0;  
158 
159    while(i < pLen)  
160 
161    {  
162 
163        if(pText > 0)  
164 
165        {  
166 
167                newBuf[j++] = pText[i++];                          
168 
169        }  
170 
171        else                    
172 
173        {  
174 
175                WCHAR Wtemp;  
176 
177                UTF_8ToUnicode(&Wtemp,pText + i);        
178 
179                UnicodeToGB2312(Ctemp,Wtemp);                
180 
181                newBuf[j] = Ctemp[0];  
182 
183                newBuf[j + 1] = Ctemp[1];    
184 
185                i += 3;      
186 
187                j += 2;     
188 
189        }  
190 
191    }  
192 
193    newBuf[j] = '';    
194 
195    pOut = newBuf;    
196 
197    delete []newBuf;  
198 
199    return;    
200 
201 }

复制代码

 

1、将GBK转换成UTF8

复制代码

string GBKToUTF8(const std::string& strGBK) 
{ string strOutUTF8 = ""; 
WCHAR * str1;
 int n = MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, NULL, 0); 
str1 = new WCHAR[n]; 
MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, str1, n); n = WideCharToMultiByte(CP_UTF8, 0, str1, -1, NULL, 0, NULL, NULL);
 char * str2 = new char[n]; 
WideCharToMultiByte(CP_UTF8, 0, str1, -1, str2, n, NULL, NULL); 
strOutUTF8 = str2; 
delete[]str1; 
str1 = NULL; 
delete[]str2;
 str2 = NULL; 
return strOutUTF8;
 }

复制代码

 Wi d e C h a r To M u l t i B y t e把U N I C O D E转换成A S C I I码。


2、将UTF8转换成GBK

复制代码

string UTF8ToGBK(const std::string& strUTF8) 
{ 
int len = MultiByteToWideChar(CP_UTF8, 0, strUTF8.c_str(), -1, NULL, 0);
 unsigned short * wszGBK = new unsigned short[len + 1]; memset(wszGBK, 0, len * 2 + 2); 
MultiByteToWideChar(CP_UTF8, 0, (LPCTSTR)strUTF8.c_str(), -1, wszGBK, len);

 len = WideCharToMultiByte(CP_ACP, 0, wszGBK, -1, NULL, 0, NULL, NULL); 
char *szGBK = new char[len + 1];
 memset(szGBK, 0, len + 1); 
WideCharToMultiByte(CP_ACP,0, wszGBK, -1, szGBK, len, NULL, NULL); //strUTF8 = szGBK; 
std::string strTemp(szGBK); 
delete[]szGBK; 
delete[]wszGBK; 
return strTemp; 
}

复制代码

 

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页