java转Cp500编码例子_详细介绍各种字符集编码转换问题 [转]

3.1读取ASCII编码

选择ASCII编码保存文件，文件内容是：您好, Ye Ming!

C++程序读取并显示如下：

FILE *myfile=fopen("CharsetExample.txt","rb");

char a[100];

fgets(a,100,myfile);

printf("字节数=%d\n",strlen(a));

printf("16进制值=");

for(int i=0;i

printf("%hhx\t",a[i]);

printf("\n字符串输出=%s\n",a);

结果输出：

字节数=13

16进制值=c4 fa ba c3 2c 59 65 20 4d 69 6e 67 21

字符串输出=您好，Ye Ming！

您=c4fa, 好=bac3，其它只占一个字节。printf函数发现字节的第1位是1时，会继续联合下一个字节按照默认的ASCII编码如GB2312显示汉字。

为了测试一下系统能否显示繁体中文字，将文本更改为：案與產品

保存为ASCII编码，然后运行程序。结果可以显示出来，说明系统用GBK或BIG5解码了。在控制面板把BIG5去掉，还能正常显示，说明系统默认的是GBK解码。

注解1：文本是按字节读，二进制是按逻辑单位读；这个例子用二进制读和用文本读的结果是一样的，因为逻辑单位char是1个字节的。

3.2读取UTF-8编码

选择UTF-8编码保存文件，文件内容是：您好, Ye Ming!

C++程序读取并显示如下：

FILE *myfile=fopen("CharsetExample.txt","rb");

char a[100];

fgets(a,100,myfile);

printf("字节数=%d\n",strlen(a));

printf("16进制值=");

for(int i=0;i

printf("%hhx\t",a[i]);

printf("\n字符串输出=%s\n",&a[3]);

结果输出：

字节数=18

16进制值=ef bb bf e6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21

字符串输出=乱码，Beijing！

其中，ef bb bf 是UTF-8的头标识；您=e6 82 a8，好=e5 a5 bd。

其他是单字节的ASCII码。

输出字符串时要去掉前三个字节。但是，还是出现了乱码!

之所以出现乱码，是因为系统按默认的GB2312去解UTF-8的码，所以在库里找不到或找不对对应的汉字，所以出现3个乱码，因为按两两组合所以有3个乱码。

3.3读取UTF-16 Big Endian

选择UTF-8编码保存文件，文件内容是：您好, Ye Ming!

C++程序读取并显示如下：

FILE *myfile=fopen("CharsetExample.txt","rb");

char a[100];

fgets(a,100,myfile);

printf("字节数=%d\n",strlen(a));

printf("16进制值=");

for(int i=0;i

printf("%hhx\t",a[i]);

printf("\n字符串输出=%s\n",&a[2]);

结果输出：

字节数=6

16进制值=fe ff 60 a8 59 7d

字符串输出=三个符号

其中，fe ff 是UTF-16 Big Endian的头标识；60是可以输出的，a859输出乱码，7d是可以输出的。输出字符串时要去掉前两个字节。

理论上字节数应该是2+11*2=24。可是，输出为什么只有6呢？在UTF-16中，每个字符都用两个字节表示，而ASCII符号只用一个字节，高位用0表示，所以，当遇到0后，strlen认为串结束了。这就是UTF-16的缺点，前面提到过。

将程序的一句更改后：

for(int i=0;i<24;i++)

16进制值= fe ff 60 a8 59 7d 0 2c 0 59……

同样，字符串仍然无法显示。

3.4读取UTF-16 Little Endian

文本文件用UTF-16 Little Endian编码时，其输出结果是：

16进制值= ff fe a8 60 7d 59 2c 0 59 0 ……

4.编程：各字符集编码的显示

4.1直接显示

由于中文系统默认的编码是中文编码，一般是GBK。所以，ASCII编码的显示没有问题。但是，遇到UNICODE编码就会有问题了，如上面的例子，显示会出现乱码。

接下来本文介绍一种读取UNICODE文件并正确显示中文的方法。

4.1.1文件编码为UNICODE Big Endian

本件保存为UNICODE Big Endian，文本=您好, Ye Ming!

·错误：按文本方式读

读文本程序如下：

FILE *myfile;

wchar_t *name=L"CharsetExample.txt";

myfile=_wfopen(name,L"rt");

fseek(myfile,0,0);

wchar_t buffw[100];

fgetws(buffw,100,myfile);

printf("字节数=%d\n",wcslen(buffw));

printf("16进制值=");

for(int i=0;i

printf("%hhx\t",buffw[i]);

//设置本地化信息，.936是简体中文的Code Page。wcout需要依靠它决定将宽字符按什么编码显示

setlocale(LC_ALL, ".936");

printf("\n字符串输出=");

wcout<

结果如下：

字节数=6

16进制值=fe ff60 a8 59 7d

字符串输出=’”Y}

文本是按UNICODE编码的，每个字符是两字节，ASCII字符高位用0代替。按文本方式打开文件读时，是按字节的读写，一个字节就存进了两个字节大小的结构wchar_t中。遇到0时，它认为文件已经结束，停止操作。

·正确：按二进制方式读

读文本程序如下：

将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb");

结果如下：

字节数=12

16进制值=fffe a860 7d59 2c00 5900….

字符串输出=乱码

这一次二进制结果是对的，但是，为什么还是乱码呢？问题出在wcout函数上，x86是按照Little Endian字节序处理数据的，它将2c00处理了而不是002c。我们看一下如果文本保存为UNICODE Little Endian, 会怎么样?

4.1.2文件编码为UNICODE Little Endian

本件保存为UNICODE Little Endian，文本=您好, Ye Ming!

·错误：按文本方式读

基本同上，故略。

·正确：按二进制方式读

将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb");

结果如下：

字节数=12

16进制值=feff 60a8 597d 2c 59….

字符串输出=您好, Ye Ming!

输出正确，^_^。

4.1.3文件编码为UTF-8

对于UTF-8而言，UTF-8的编码其实不属于宽字符，它还是MBCS。wcout函数只能显示宽字符，不能够正确显示它的编码，所以输出为乱码或空。

4.2编码转换后显示

4.2.1文件编码为UNICODE Big Endian

由于字节序的问题，需要转换成Little Endian 才能正确显示，因为x86系列用的是Little Endian。转换后，请用下面小节的方法显示。

4.2.2文件编码为UNICODE Little Endian

读文件程序如下：

FILE *myfile;

wchar_t *name=L"CharsetExample.txt";

myfile=_wfopen(name,L"rb");

fseek(myfile,0,0);

wchar_t buffw[100];

fgetws(buffw,100,myfile);

printf("字节数=%d\n",wcslen(buffw));

printf("16进制值=");

for(int i=0;i

printf("%hhx\t",buffw[i]);

//宽字符转换成多字节，第一个参数是Code Page，windows定义了若干Code Page，用来处理不同语言编码的。CP_ACP是ASCII编码，这里主要是求出转换后的字节数。Buffw+1主要是去掉头标记feff。

UNICODEàASCII编码

int len = WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), NULL, NULL, NULL, NULL );

LPSTR lpsz = new CHAR[len+1];

//下面才是真正的转换。

WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), lpsz, len, NULL,NULL );

printf("%d",len);

lpsz[len]='\0';

printf("\n%s\n",lpsz);

结果如下：

字节数=12

16进制值=feff 60a8 597d 2c 59….

字符串输出=您好, Ye Ming!

转换完后，系统函数printf会按照系统默认编码显示出来。

4.2.3文件编码为UTF-8

文件保存为UTF-8，有两种情况：

·错误：按宽字符存取

程序如下：

FILE *myfile;

wchar_t *name=L"CharsetExample.txt";

myfile=_wfopen(name,L"rb");

fseek(myfile,3,0);

wchar_t buffw[100];

fgetws(buffw,100,myfile);

printf("字节数=%d\n",wcslen(buffw));

printf("16进制值=");

for(int i=0;i

printf("%hhx\t",buffw[i]);

…………….

结果如下：

字节数=7

16进制值=82e6 e5a8 bda5 592c 2065 694d 676e

可以看出，16进制值缺了21，这就是感叹号的ASCII值。当以fgetws读取文件时，21落单了，所以不能读进wchar_t。

·正确：按字节存取

程序如下：

FILE *myfile;

wchar_t *name=L"CharsetExample.txt";

myfile=_wfopen(name,L"rb");

fseek(myfile,3,0);

char buff[100];

//取得所有UTF-8字节

fgets(buff,100,myfile);

printf("字节数=%d\n",strlen(buff));

printf("16进制值=");

for(int i=0;i

printf("%hhx\t",buff[i]);

第一步，UTF-8àUNICODE

由于从UTF-8不能直接转换为ASCII编码，必须以UNICODE为跳板；这里用到参数CP_UTF8，因为我们是将UTF-8转换为UNICODE，注意：WideChar在本函数中指的肯定是UNICODE。

int num=MultiByteToWideChar(CP_UTF8,NULL,buff,-1,NULL,NULL);

wchar_t *buffw2=new wchar_t[num];

MultiByteToWideChar(CP_UTF8,NULL,buff,-1,buffw2,num);

第二步，UNICODEàASCII编码

这个函数跟之前用过了。

int len = WideCharToMultiByte( CP_ACP, 0, buffw2, num, NULL, NULL, NULL, NULL );

LPSTR lpsz = new CHAR[len+1];

WideCharToMultiByte( CP_ACP, 0, buffw2, num, lpsz, len, NULL, NULL );

lpsz[len]='\0';

printf("\n字符串输出=");

printf("%s\n",lpsz);

结果如下：

字节数=15

16进制值=e6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21

字符串输出=您好, Ye Ming!

结果正确，*_*。

4.3转换编码的另外一种方法

·mbstowcs

char *ccname="我们";

wchar_t * wwname=new wchar_t[2];

//依赖于Locale而不是Code Page

setlocale(LC_CTYPE,"chs");

mbstowcs(wwname,ccname,2);

wcout<

·wcstombs

wchar_t *wname=L"叶明";

char * cname=new char[4];

setlocale(LC_TIME,"chs");

wcout<

wcstombs(cname,wname,4);

printf("%s\n",cname);

5.思考字符集编码对软件的影响

请参考本人另外一篇文章：UNICODE编码对软件编程的影响。

6.常用参数

·ASCII码参照表

Code Page 参数

下面是部分的Code Page:

CP0 ASCII

CP932 Shift-JIS

CP936 GBK

CP950 Big5

CP20936 GB2312

CP65001 UTF-8

CP65000 UTF-7

Locale 参数

由于国家和本地习惯的不同，在处理文字、日期、数字、货币格式等问题都会有所不同，Locale就是用来解决这个问题。

C语言的Locale定义，分为以下几类：

LC_ALL：代表所有的locale

LC_CTYPE：用来处理文字编码

LC_MESSAGES：信息的显示，你可能会在这样一个目录看到大量的mo文件

LC_TIME：时间格式

LC_NUMERIC：数字格式

LC_MONETARY：货币格式

LC_COLLATE：字母顺序和特殊字符的比较

其中比较重要的是：

字符编码LC_CTYPE和本地化的信息显示LC_MESSAGES 。

设置Locale举例如下：

setLocale(LC_ALL, "chs")

值可取下面值：

zh_CN.utf8

chs

Chinese-simplified

ZHI

.936

Windows定义的Unicode数据类型有哪些？

数据类型 说明

WCHAR Unicode字符

PWSTR 指向Unicode字符串的指针

PCWSTR 指向一个恒定的Unicode字符串的指针

对应的ANSI数据类型为CHAR，LPSTR和LPCSTR。

ANSI/Unicode通用数据类型为TCHAR，PTSTR,LPCTSTR。

6. 如何对Unicode进行操作？

字符集 特性 实例

ANSI 操作函数以str开头 strcpy

Unicode 操作函数以wcs开头 wcscpy

MBCS 操作函数以_mbs开头 _mbscpy

ANSI/Unicode 操作函数以_tcs开头 _tcscpy(C运行期库)

ANSI/Unicode 操作函数以lstr开头 lstrcpy(Windows函数)

所有新的和未过时的函数在Windows2000中都同时拥有ANSI和Unicode两个版本。ANSI版本函数结尾以A表示；Unicode版本函数结尾以W表示。Windows会如下定义：

#ifdef UNICODE

#define CreateWindowEx CreateWindowExW

#else

#define CreateWindowEx CreateWindowExA