最近,在做一个小程序的时候,突然遇到了汉字编码转换问题。关于如何在UTF-8与GB2312之间转换的问题。在VC知识库里看到吴康彬的文章《UTF-8与GB2312之间的互换》,文章浅显易懂,代码也不长。省了我不少的找资料的时间。在此谢谢了。 :)
在看代码的过程中,吴康彬用了许多字符串的转换,来进行2进制的运算,这就涉及到大量的IO操作,效率肯定比较低。而且编码转换的工作量往往非常大,因此效率问题很重要。而且,代码里,有许多,内存泄漏问题,可能是作者过于重视实现,没有注意这些细节问题。
闲话少说,开始正题。在UTF-8,与UNICODE之间转换的时候,用二进制运算,代替了字符串的转换。UTF-8一个汉字,用3个字节,而UNICODE用2个字节;对应关系如下:
1.
UTF-8编码:
2.
[1,1,1,0,A5,A6,A7,A8], [1,0,B3,B4,B5,B6,B7,B8],
3.
[1,0,C3,C4,C5,C6,C7,C8];
对应的UNICODE编码:
1.
[A5,A6,A7,A8,B3,B4,B5,B6],
2.
[B7,B8,C3,C4,C5,C6,C7,C8]
因此我们只需进行位操作,即可达到目的;如:
01.
// 把UTF-8转换成Unicode
02.
void
CChineseCodeLib::UTF_8ToUnicode(
WCHAR
* pOut,
char
*pText)
03.
{
04.
char
* uchar = (
char
*)pOut;
05.
06.
uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
07.
uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
08.
09.
return
;
10.
}
01.
// Unicode 转换成UTF-8
02.
void
CChineseCodeLib::UnicodeToUTF_8(
char
* pOut,
WCHAR
* pText)
03.
{
04.
// 注意 WCHAR高低字的顺序,低字节在前,高字节在后
05.
char
* pchar = (
char
*)pText;
06.
pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
07.
pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
08.
pOut[2] = (0x80 | (pchar[0] & 0x3F));
09.
return
;
10.
}
1.
// 把Unicode 转换成 GB2312
2.
void
CChineseCodeLib::UnicodeToGB2312(
char
* pOut,unsigned
short
uData)
3.
{
4.
WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,
sizeof
(
WCHAR
),NULL,NULL);
5.
return
;
6.
}
1.
// GB2312 转换成 Unicode
2.
void
CChineseCodeLib::Gb2312ToUnicode(
WCHAR
* pOut,
char
*gbBuffer)
3.
{
4.
::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
5.
return
;
6.
}
01.
//GB2312 转为 UTF-8
02.
void
CChineseCodeLib::GB2312ToUTF_8(string& pOut,
char
*pText,
int
pLen)
03.
{
04.
char
buf[4];
05.
char
* rst =
new
char
[pLen + (pLen >> 2) + 2];
06.
07.
memset
(buf,0,4);
08.
memset
(rst,0,pLen + (pLen >> 2) + 2);
09.
10.
int
i = 0;
11.
int
j = 0;
12.
while
(i < pLen)
13.
{
14.
//如果是英文直接复制就可以
15.
if
( *(pText + i) >= 0)
16.
{
17.
rst[j++] = pText[i++];
18.
}
19.
else
20.
{
21.
WCHAR
pbuffer;
22.
Gb2312ToUnicode(&pbuffer,pText+i);
23.
24.
UnicodeToUTF_8(buf,&pbuffer);
25.
26.
unsigned
short
int
tmp = 0;
27.
tmp = rst[j] = buf[0];
28.
tmp = rst[j+1] = buf[1];
29.
tmp = rst[j+2] = buf[2];
30.
31.
32.
j += 3;
33.
i += 2;
34.
}
35.
}
36.
rst[j] =
''
\0
''
;
37.
//返回结果
38.
pOut = rst;
39.
delete
[]rst;
40.
41.
return
;
42.
}
01.
//UTF-8 转为 GB2312
02.
void
CChineseCodeLib::UTF_8ToGB2312(string &pOut,
char
*pText,
int
pLen)
03.
{
04.
char
* newBuf =
new
char
[pLen];
05.
char
Ctemp[4];
06.
memset
(Ctemp,0,4);
07.
int
i =0;
08.
int
j = 0;
09.
10.
while
(i < pLen)
11.
{
12.
if
(pText[i] > 0)
13.
{
14.
newBuf[j++] = pText[i++];
15.
}
16.
else
17.
{
18.
WCHAR
Wtemp;
19.
UTF_8ToUnicode(&Wtemp,pText + i);
20.
21.
UnicodeToGB2312(Ctemp,Wtemp);
22.
23.
newBuf[j] = Ctemp[0];
24.
newBuf[j + 1] = Ctemp[1];
25.
i += 3;
26.
j += 2;
27.
}
28.
}
29.
newBuf[j] =
''
\0
''
;
30.
31.
pOut = newBuf;
32.
delete
[]newBuf;
33.
34.
return
;
35.
}
代码在WIN2K,VC++60 下编译,测试通过. 就说这么多吧,具体的大家看代码吧。草草的写的,大家莫笑,欢迎大家一起讨论; 觉觉罗。。。。