实例详细介绍各种字符集编码转换问题

转载 2011年01月18日 22:24:00

本文背景:
本人在编程时需要匹配字符串,由此想到了如果文件是各种字符编码的话,匹配结果有可能不正确,那么,如何判断不同的字符集?如何在不同字符集之间做转换?对于UNICODE编码逐渐通用的情况下,我们软件人员如何从容应对? 本文首先对常用字符集进行总结,然后在字符集的显示及转换上以实例介绍,最后总结了编程中遇到的编码问题。
本文目的:
对字符集编码做详细介绍,关键配以实例讲解,降低问题的复杂度。
本文内容:
1.    常用字符集分类
1.1 简介
·        ASCII及其扩展字符集
作用:表语英语及西欧语言。
位数:ASCII是用7位表示的,能表示128个字符;其扩展使用8位表示,表示256个字符。
范围:ASCII从00到7F,扩展从00到FF。
 
·        ISO-8859-1字符集
作用:扩展ASCII,表示西欧、希腊语等。
位数:8位,
范围:从00到FF,兼容ASCII字符集。
 
·        GB2312字符集
作用:国家简体中文字符集,兼容ASCII。
位数:使用2个字节表示,能表示7445个符号,包括6763个汉字,几乎覆盖所有高频率汉字。
范围:高字节从A1到F7, 低字节从A1到FE。将高字节和低字节分别加上0XA0即可得到编码。
 
·        BIG5字符集
作用:统一繁体字编码。
位数:使用2个字节表示,表示13053个汉字。
范围:高字节从A1到F9,低字节从40到7E,A1到FE。
 
·        GBK字符集
作用:它是GB2312的扩展,加入对繁体字的支持,兼容GB2312。
位数:使用2个字节表示,可表示21886个字符。
范围:高字节从81到FE,低字节从40到FE。
 
·        GB18030字符集
作用:它解决了中文、日文、朝鲜语等的编码,兼容GBK。
位数:它采用变字节表示(1 ASCII,2,4字节)。可表示27484个文字。
范围:1字节从00到7F; 2字节高字节从81到FE,低字节从40到7E和80到FE;4字节第一三字节从81到FE,第二四字节从30到39。
 
·        UCS字符集
作用:国际标准 ISO 10646 定义了通用字符集 (Universal Character Set)。它是与UNICODE同类的组织,UCS-2和UNICODE兼容。
位数:它有UCS-2和UCS-4两种格式,分别是2字节和4字节。
范围:目前,UCS-4只是在UCS-2前面加了0x0000。
 
·        UNICODE字符集
作用:为世界650种语言进行统一编码,兼容ISO-8859-1。
位数:UNICODE字符集有多个编码方式,分别是UTF-8,UTF-16和UTF-32。
UTF-8:采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示,网络传输, 即使错了一个字节,不影响其他字节,而双字节只要一个错了,其他也错了,具体如下:
如果只有一个字节则其最高二进制位为0;如果是多字节,其第一个字节从最高位开始,连续的二进制位值为1的个数决定了其编码的字节数,其余各字节均以10开头。UTF-8最多可用到6个字节。
 
UTF-16:采用2字节,Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。从 0x0000到0x007F是ASCII字符,从0x0080到0x00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0x0370到0x03FF 的代码,斯拉夫语使用从0x0400到0x04FF的代码,美国使用从0x0530到0x058F的代码,希伯来语使用从0x0590到0x05FF的代 码。中国、日本和韩国的象形文字(总称为CJK)占用了从0x3000到0x9FFF的代码;
由于0x00在c语言及操作系统文件名等中有特殊意义,故很多情况下需要UTF-8编码保存文本,去掉这个0x00。举例如下:
UTF-16: 0x0080 = 0000 0000 1000 0000
UTF-8:   0xC280 = 1100 0010 1000 0000
UTF-32:采用4字节。
优缺点:
·        UTF-8、UTF-16和UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。
·        使用UTF-8编码时ASCII字符只占1个字节,存储效率比较高,适用于拉丁字符较多的场合以节省空间。
·        对于大多数非拉丁字符(如中文和日文)来说,UTF-16所需存储空间最小,每个字符只占2个字节。
·        Windows NT内核是Unicode(UTF-16),采用UTF-16编码在调用系统API时无需转换,处理速度也比较快。
·        采用UTF-16和UTF-32会有Big Endian和Little Endian之分,而UTF-8则没有字节顺序问题,所以UTF-8适合传输和通信。
·        UTF-32采用4字节编码,一方面处理速度比较快,但另一方面也浪费了大量空间,影响传输速度,因而很少使用。
 
1.2 按所表示的文字分类
   语言 字符集 正式名称
英语、西欧语 ASCII,ISO-8859-1 MBCS 多字节
简体中文 GB2312 MBCS 多字节
繁体中文 BIG5 MBCS 多字节
简繁中文 GBK MBCS 多字节
中文、日文及朝鲜语 GB18030 MBCS 多字节
各国语言 UNICODE,UCS DBCS 宽字节

 
 
 
 
 
 
2.  如何判断字符集
2.1 字节序
首先说一下字节序对编码的影响,字节序分为Big Endian字节序和Little Endian字节序。不同的处理器可能不一样。所以,传输时需要告诉处理器当时的编码字节序。对于前者而言,高位字节存在低地址,低字节存于高地址;后者相反。例如,0X03AB,
Big Endian字节序是
0000: 0 3
0001: AB
Little Endian字节序是
0000: AB
0001: 0 3
 
2.2 编码识别
·        UNICODE
根据前几个字节可以判断UNICODE字符集的各种编码,叫做Byte Order Mask方法BOM:
UTF-8: EFBBBF (符合UTF-8格式,请看上面。但没有含义在UCS即UNICODE中)
UTF-16 Big Endian:FEFF (没有含义在UCS-2中)
UTF-16 Little Endian:FFFE (没有含义在UCS-2中)
UTF-32 Big Endian:0000FEFF (没有含义在UCS-4中)
UTF-32 Little Endian:FFFE0000 (没有含义在UCS-4中)
·        GB2312
      高字节和低字节的第1位都是1。
·        BIG5,GBK&GB18030
高字节的第1位为1。操作系统有默认的编码,常为GBK,可以下载别的并升级。通过判断高字节的第1位从而知道是ASCII或者汉字编码。
 
3.      编程:各字符集编码的读取
注意,下面的例子都会用到这个文件,读取这个文件。在Encodeing 选项中可以选择ASCII编码、UTF-8、UNICODE Big Endian、UNICODE Little Endian。其中,ASCII编码包括:ASCII、ISO-8859-1、GB2312、BIG5、GBK等在ASCII基础上扩展的编码。当选用ASCII编码保存时,系统会调用默认的一种ASCII编码方式,一般的中文系统使用GB2312或GBK。可以通过更改控制面板中的语言选项更改。
 
 
3.1 读取ASCII编码
选择ASCII编码保存文件,文件内容是:您好, Ye Ming!
C++程序读取并显示如下:
FILE *myfile=fopen("CharsetExample.txt","rb");
            char a[100];
            fgets(a,100,myfile);
            printf("字节数=%d/n",strlen(a));
            printf("16进制值=");
            for(int i=0;i<strlen(a);i++)
                        printf("%hhx/t",a[i]);
            printf("/n字符串输出=%s/n",a);
 
结果输出:
字节数=13
16进制值=c4 fa ba c3 2c 59 65 20 4d 69 6e 67 21
字符串输出=您好,Ye Ming!
您=c4fa, 好=bac3,其它只占一个字节。printf函数发现字节的第1位是1时,会继续联合下一个字节按照默认的ASCII编码如GB2312显示汉字。
 
为了测试一下系统能否显示繁体中文字,将文本更改为:案與產品
保存为ASCII编码,然后运行程序。结果可以显示出来,说明系统用GBK或BIG5解码了。在控制面板把BIG5去掉,还能正常显示,说明系统默认的是GBK解码。
注解1:文本是按字节读,二进制是按逻辑单位读;这个例子用二进制读和用文本读的结果是一样的,因为逻辑单位char是1个字节的。
 
3.2 读取UTF-8编码
选择UTF-8编码保存文件,文件内容是:您好, Ye Ming!
C++程序读取并显示如下:
            FILE *myfile=fopen("CharsetExample.txt","rb");
            char a[100];
            fgets(a,100,myfile);
            printf("字节数=%d/n",strlen(a));
            printf("16进制值=");
            for(int i=0;i<strlen(a);i++)
                        printf("%hhx/t",a[i]);
            printf("/n字符串输出=%s/n",&a[3]);
 
结果输出:
字节数=18
16进制值=ef bb bf e6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21
字符串输出=乱码,Beijing!
其中,ef bb bf 是UTF-8的头标识;您=e6 82 a8,好=e5 a5 bd。
其他是单字节的ASCII码。
输出字符串时要去掉前三个字节。但是,还是出现了乱码!
之所以出现乱码,是因为系统按默认的GB2312去解UTF-8的码,所以在库里找不到或找不对对应的汉字,所以出现3个乱码,因为按两两组合所以有3个乱码。
 
3.3 读取UTF-16 Big Endian
选择UTF-8编码保存文件,文件内容是:您好, Ye Ming!
C++程序读取并显示如下:
 
FILE *myfile=fopen("CharsetExample.txt","rb");
            char a[100];
            fgets(a,100,myfile);
            printf("字节数=%d/n",strlen(a));
            printf("16进制值=");
            for(int i=0;i<strlen(a);i++)
                        printf("%hhx/t",a[i]);
            printf("/n字符串输出=%s/n",&a[2]);
结果输出:
字节数=6
16进制值=fe ff 60 a8 59 7d
字符串输出=三个符号
其中,fe ff 是UTF-16 Big Endian的头标识;60是可以输出的,a859输出乱码,7d是可以输出的。输出字符串时要去掉前两个字节。
 
理论上字节数应该是2+11*2=24。可是,输出为什么只有6呢?在UTF-16中,每个字符都用两个字节表示,而ASCII符号只用一个字节,高位用0表示,所以,当遇到0后,strlen认为串结束了。这就是UTF-16的缺点,前面提到过。
将程序的一句更改后:
for(int i=0;i<24;i++)
16进制值= fe ff 60 a8 59 7d 0 2c 0 59……
同样,字符串仍然无法显示。
 
3.4 读取UTF-16 Little Endian
文本文件用UTF-16 Little Endian编码时,其输出结果是:
16进制值= ff fe a8 60 7d 59 2c 0 59 0 ……
 
4.      编程:各字符集编码的显示
4.1 直接显示
由于中文系统默认的编码是中文编码,一般是GBK。所以,ASCII编码的显示没有问题。但是,遇到UNICODE编码就会有问题了,如上面的例子,显示会出现乱码。
接下来本文介绍一种读取UNICODE文件并正确显示中文的方法。
4.1.1 文件编码为UNICODE Big Endian
本件保存为UNICODE Big Endian,文本=您好, Ye Ming!
·        错误:按文本方式读
读文本程序如下:
FILE *myfile;
            wchar_t *name=L"CharsetExample.txt";
            myfile=_wfopen(name,L"rt");
            fseek(myfile,0,0);
            wchar_t buffw[100];
            fgetws(buffw,100,myfile);
            printf("字节数=%d/n",wcslen(buffw));
            printf("16进制值=");
            for(int i=0;i<wcslen(buffw);i++)
            printf("%hhx/t",buffw[i]);
//设置本地化信息,.936是简体中文的Code Page。wcout需要依靠它决定将宽字符按什么编码显示
            setlocale(LC_ALL, ".936");
            printf("/n字符串输出=");
   wcout<<buffw+1<<endl;         
结果如下:
字节数=6
16进制值=fe ff 60 a8 59 7d
字符串输出=’”Y}
文本是按UNICODE编码的,每个字符是两字节,ASCII字符高位用0代替。按文本方式打开文件读时,是按字节的读写,一个字节就存进了两个字节大小的结构wchar_t中。遇到0时,它认为文件已经结束,停止操作。
·        正确:按二进制方式读
读文本程序如下:
   将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb");
结果如下:
 字节数=12
16进制值=fffe a860 7d59 2c00 5900….
字符串输出=乱码
这一次二进制结果是对的,但是,为什么还是乱码呢?问题出在wcout函数上,x86是按照Little Endian字节序处理数据的,它将2c00处理了而不是002c。我们看一下如果文本保存为UNICODE Little Endian, 会怎么样?
 
4.1.2 文件编码为UNICODE Little Endian
本件保存为UNICODE Little Endian,文本=您好, Ye Ming!
·        错误:按文本方式读
基本同上,故略。
·        正确:按二进制方式读
   将myfile=_wfopen(name,L"rt")改为myfile=_wfopen(name,L"rb");
结果如下:
字节数=12
16进制值=feff 60a8 597d 2c 59….
字符串输出=您好, Ye Ming!
输出正确,^_^。
4.1.3 文件编码为UTF-8
对于UTF-8而言,UTF-8的编码其实不属于宽字符,它还是MBCS。wcout函数只能显示宽字符,不能够正确显示它的编码,所以输出为乱码或空。
 
4.2  编码转换后显示
4.2.1 文件编码为UNICODE Big Endian
由于字节序的问题,需要转换成Little Endian 才能正确显示,因为x86系列用的是Little Endian。转换后,请用下面小节的方法显示。
 
4.2.2 文件编码为UNICODE Little Endian
读文件程序如下:
            FILE *myfile;
            wchar_t *name=L"CharsetExample.txt";
            myfile=_wfopen(name,L"rb");
            fseek(myfile,0,0);
            wchar_t buffw[100];
            fgetws(buffw,100,myfile);
            printf("字节数=%d/n",wcslen(buffw));
            printf("16进制值=");
            for(int i=0;i<wcslen(buffw);i++)
                        printf("%hhx/t",buffw[i]);
//宽字符转换成多字节,第一个参数是Code Page,windows定义了若干Code Page,用来处理不同语言编码的。CP_ACP是ASCII编码,这里主要是求出转换后的字节数。Buffw+1主要是去掉头标记feff。
UNICODEàASCII编码
int len = WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), NULL, NULL, NULL, NULL );
            LPSTR lpsz = new CHAR[len+1];
            //下面才是真正的转换。
WideCharToMultiByte( CP_ACP, 0, buffw+1, wcslen(buffw+1), lpsz, len, NULL,NULL );
            printf("%d",len);
            lpsz[len]='/0';
      printf("/n%s/n",lpsz);
 
      结果如下:
      字节数=12
   16进制值=feff 60a8 597d 2c 59….
字符串输出=您好, Ye Ming!
      转换完后,系统函数printf会按照系统默认编码显示出来。
 
4.2.3 文件编码为UTF-8
文件保存为UTF-8,有两种情况:
·        错误:按宽字符存取
程序如下:
FILE *myfile;
            wchar_t *name=L"CharsetExample.txt";
            myfile=_wfopen(name,L"rb");
            fseek(myfile,3,0);
            wchar_t buffw[100];
            fgetws(buffw,100,myfile);
            printf("字节数=%d/n",wcslen(buffw));
            printf("16进制值=");
            for(int i=0;i<wcslen(buffw);i++)
                        printf("%hhx/t",buffw[i]);
           
…………….
结果如下:
字节数=7
      16进制值=82e6 e5a8 bda5 592c 2065 694d 676e
    
可以看出,16进制值缺了21,这就是感叹号的ASCII值。当以fgetws读取文件时,21落单了,所以不能读进wchar_t。
 
·        正确:按字节存取
程序如下:
FILE *myfile;
            wchar_t *name=L"CharsetExample.txt";
            myfile=_wfopen(name,L"rb");
            fseek(myfile,3,0);
            char buff[100];
            //取得所有UTF-8字节
            fgets(buff,100,myfile);
            printf("字节数=%d/n",strlen(buff));
            printf("16进制值=");
            for(int i=0;i<strlen(buff);i++)
                        printf("%hhx/t",buff[i]);
 
第一步,UTF-8àUNICODE
由于从UTF-8不能直接转换为ASCII编码,必须以UNICODE为跳板;这里用到参数CP_UTF8,因为我们是将UTF-8转换为UNICODE,注意:WideChar在本函数中指的肯定是UNICODE。
            int num=MultiByteToWideChar(CP_UTF8,NULL,buff,-1,NULL,NULL);
            wchar_t *buffw2=new wchar_t[num];
            MultiByteToWideChar(CP_UTF8,NULL,buff,-1,buffw2,num);
 
第二步,UNICODEàASCII编码
            这个函数跟之前用过了。
int len = WideCharToMultiByte( CP_ACP, 0, buffw2, num, NULL, NULL, NULL, NULL );
            LPSTR lpsz = new CHAR[len+1];
            WideCharToMultiByte( CP_ACP, 0, buffw2, num, lpsz, len, NULL, NULL );
            lpsz[len]='/0';
            printf("/n字符串输出=");
      printf("%s/n",lpsz);
 
结果如下:
字节数=15
      16进制值=e6 82 a8 e5 a5 bd 2c 59 65 20 4d 69 6e 67 21
      字符串输出=您好, Ye Ming!
结果正确,*_*。
 
4.3 转换编码的另外一种方法
·        mbstowcs
          char *ccname="我们";
            wchar_t * wwname=new wchar_t[2];
            //依赖于Locale而不是Code Page
            setlocale(LC_CTYPE,"chs");
            mbstowcs(wwname,ccname,2);
            wcout<<wwname<<endl;
 
·       wcstombs
wchar_t *wname=L"叶明";
            char * cname=new char[4];
            setlocale(LC_TIME,"chs");
            wcout<<wname<<endl;
            wcstombs(cname,wname,4);
            printf("%s/n",cname);
 
5.     思考字符集编码对软件的影响
请参考本人另外一篇文章:UNICODE 编码对软件编程的影响。
 
6.   常用参数
   ·        ASCII码参照表
 
 Code Page 参数
    下面是部分的Code Page:
       CP0 ASCII
       CP932 Shift-JIS
       CP936 GBK
       CP950 Big5
       CP20936 GB2312
       CP65001 UTF-8
       CP65000 UTF-7
Locale 参数
   由于国家和本地习惯的不同,在处理文字、日期、数字、货币格式等问题都会有所不同,Locale就是用来解决这个问题。
C语言的Locale定义,分为以下几类:
     LC_ALL:代表所有的locale
     LC_CTYPE:用来处理文字编码
     LC_MESSAGES:信息的显示,你可能会在这样一个目录看到大量的mo文件
     LC_TIME:时间格式
     LC_NUMERIC:数字格式
     LC_MONETARY:货币格式
     LC_COLLATE:字母顺序和特殊字符的比较
  其中比较重要的是:
  字符编码LC_CTYPE和本地化的信息显示LC_MESSAGES 。
  设置Locale举例如下:
    setLocale(LC_ALL, "chs")
  值可取下面值:
    zh_CN.utf8
    chs
    Chinese-simplified
    ZHI
   .936
----文章结束----


本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/dracularking/archive/2008/04/07/2257468.aspx

实例详细介绍各种字符集编码转换问题

http://blog.csdn.net/dracularking/article/details/2257468 本文背景: 本人在编程时需要匹配字符串,由此想到了如果文件是各种字符编码的话...
  • bytxl
  • bytxl
  • 2014年01月08日 16:49
  • 1504

例详细介绍各种字符集编码转换问题

本文背景: 本人在编程时需要匹配字符串,由此想到了如果文件是各种字符编码的话,匹配结果有可能不正确,那么,如何判断不同的字符集?如何在不同字符集之间做转换?对于UNICODE编码逐渐通用的情况下,我...
  • sptoor
  • sptoor
  • 2011年09月12日 22:12
  • 501

字符集编码转换工具

  • 2009年03月29日 15:59
  • 143KB
  • 下载

Linux下文件字符集编码转换

查看文件编码file命令 file ip.txt 查看文件编码file命令 file ip.txt ip.txt: UTF-8 Unicode text, with escape sequen...
  • bayaci
  • bayaci
  • 2011年09月27日 01:18
  • 991

Js字符集编码转换函数Get请求特殊字符处理

Js字符集编码转换函数 字符集转换: 1.ajax get请求的字符集乱码解决方案,发送端数据用reCode()方法编码加密,接收端用deCode()方法解码。    function r...
  • kingzuo
  • kingzuo
  • 2013年02月21日 16:32
  • 4575

iconv_linux下字符集编码转换轻松实现(转帖)

iconv_linux下字符集编码转换轻松实现(转帖) 来源: ChinaUnix博客  日期: 2009.02.06 23:30 (共有条评论)...

linux下字符集编码转换轻松实现

在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。 一、利用iconv函数族进行编码转换...

iconv_linux下字符集编码转换轻松实现(转帖)

iconv_linux下字符集编码转换轻松实现(转帖) 2009-02-06 23:30:13 分类: LINUX 在LINUX上进行编码转换时,既可以利用...

linux下字符集编码转换轻松实现

在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。一、利用iconv函数族进行编码转换i...
  • wmlight
  • wmlight
  • 2011年04月11日 10:23
  • 126
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:实例详细介绍各种字符集编码转换问题
举报原因:
原因补充:

(最多只允许输入30个字)