转自:http://blog.sina.com.cn/s/blog_5d8cc64101017vzs.html
一. 字符集
1.
ASCII及其扩展字符集
作用:英语及西欧语言。
位数:ASCII是用低7位(b7默认为0)表示,能表示128个字符;其扩展使用8位表示,表示256个字符。
范围:ASCII从00到7F,扩展从00到FF。
ISO-8859-1(1~16)字符集
作用:扩展ASCII,表示西欧、希腊语等。
位数:8位。
范围:从00到FF,兼容ASCII字符集。
GB2312字符集
作用:国家简体中文字符集,兼容ASCII。
位数:使用2个字节表示,能表示7445个符号,包括6763个汉字,涵盖所有常用汉字。
范围:高字节从A1到F7, 低字节从A1到FE。
BIG5字符集
作用:统一繁体字编码。
位数:使用2个字节表示,总计13053个汉字。
范围:高字节从A1到F9,低字节从40到7E,A1到FE。
SJIS字符集
作用:日文字符编码。
位数:使用2个字节表示,总计7724个字符。
范围:高字节从81到9F,E0到FC,低字节从40到7E,80到FC。
EUC-KR字符集
作用:韩文字符编码。
位数:使用2个字节表示,总结17048个字符
范围:高字节从81到FD,低字节从40到7E,80到FE。
GBK字符集
作用:它是GB2312的扩展,加入对繁体字的支持,兼容GB2312。
位数:使用2个字节表示,可表示21886个字符。
范围:高字节从81到FE,低字节从40到FE (7F除外)。
GB18030字符集
作用:它解决了中文、日文、朝鲜语等的编码,兼容GBK。
位数:它采用变字节表示(1ASCII,2,4字节)。可表示27484个文字。
范围:1字节从00到7F;2字节高字节从81到FE,低字节从40到7E和80到FE;4字节第一三字节从81到FE,第二四字节从30到39。
UCS字符集
作用:国际标准 ISO10646 定义了通用字符集 (Universal CharacterSet)。它是与UNICODE同类的组织,UCS-2和UNICODE兼容。
位数:它有UCS-2和UCS-4两种格式,分别是2字节和4字节。
范围:目前,UCS-4只是在UCS-2前面加了0×0000。
UNICODE字符集
作用:为世界650种语言进行统一编码,兼容ISO-8859-1。
位数:UNICODE字符集有多个编码方式,分别是UTF-8,UTF-16和UTF-32。
2.
语言
英语、西欧语
简体中文
繁体中文
简繁中文
中文、日文及朝鲜语
多国语言合集
3. 参考代码
longGetPosWithMbcs(UINT code, UINT codepage)
{
long lIdx =-1;
BYTE R = (code>> 8) & 0xFF;
BYTE C = code& 0xFF;
switch(codepage)
{
case CP932:
if(R>= 0x81 && R<= 0x9F)
{
if(C>= 0x40 && C<= 0x7E)
lIdx =(R-0x81)*188 + (C-0x40);
else if(C>= 0x80 && C<= 0xFC)
lIdx =(R-0x81)*188 + (C-0x80)+63;
}
else if(R>= 0xE0 && R<= 0xFC)
{
if(C>= 0x40 && C<= 0x7E)
lIdx = 5828 +(R-0xE0)*188 + (C-0x40);
else if(C>= 0x80 && C<= 0xFC)
lIdx = 5828 +(R-0xE0)*188 + (C-0x80)+63;
}
break;
case CP936:
if( IsGbk()) //GBK
{
#if (0)
if(R>=0x81&& R<=0xA0)
{
if(C>= 0x40 && C<= 0xFE)
{
lIdx =(R-0x81)*190 + (C-0x40);
if(C>= 0x80)
lIdx -= 1;
}
}
elseif(R>=0xA1 &&R<=0xA9)
{
if(C>=0xa1&&C<=0xfe)
lIdx = 6080 +(R - 0xa1)*94 + (C - 0xa1);
}
else if(R>= 0xAA && R<= 0xAF)
{
if(C>=0x40&&C<=0xA0)
{
// 6926 = 1080+
lIdx = 6926 +(R - 0xaa + 1) * 97 + (C -0x40);
if(C>= 0x80)
lIdx -= 1;
}
}
else if(R>= 0xB0 && R<= 0xF7) // section4
{
if(C>= 0x40 && C<= 0xFE)
{
lIdx = 7508 +(R - 0xB0 + 1) * 190 + (C - 0x40); // 7508 = 6926 +582
if(C>= 0x80)
lIdx -= 1;
}
}
else if(R>= 0xF8 && R<= 0xFE) // section5
{
if(C>=0x40&&C<=0xA0)
{
// 21188 = 7508 +13680, 97 = (0xa0 - 0x40 + 1)
lIdx = 21188 +(R - 0xF8 + 1) * 97 + (C -0x40);
}
}
#else
if(R>= 0x81 && R<= 0xFE)
{
if(C>= 0x40 && C<= 0xFE)
{
lIdx =(R-0x81)*190 + (C-0x40);
if(C>= 0x80)
lIdx -= 1;
}
}
#endif
}
else
{
if((R>= 0xA1 && R<= 0xFE) && (C>= 0xA1 && C<= 0xFE))
lIdx =(R-0xa1)*94 + (C-0xa1);
}
break;
case CP949:
if(R>= 0x81)
{
if(C>= 0x41 && C<= 0x7E)
lIdx =((R-0x81) * 188 + (C - 0x41));
else if(C>= 0x81 && C<= 0xFE)
lIdx =((R-0x81) * 188 + (C - 0x81) + 62);
}
break;
case CP950:
if(R>= 0xA1 && R<= 0xF9)
{
if(C>= 0x40 && C<= 0x7E)
lIdx =((R-0xa1)*157+(C-0x40));
else if(C>= 0xA1 && C<= 0xFE)
lIdx =((R-0xa1)*157+(C-0xa1)+63);
}
break;
default:
break;
}
returnlIdx;
}
二. 编码
UTF-8:采用变长字节 (1ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示,网络传输,即使错了一个字节,不影响其他字节,而双字节只要一个错了,其他也错了,具体如下:
如果只有一个字节则其最高二进制位为0;如果是多字节,其第一个字节从最高位开始,连续的二进制位值为1的个数决定了其编码的字节数,其余各字节均以10开头。UTF-8最多可用到6个字节。
UTF-16:采用2字节,Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。从0×0000到0×007F是ASCII字符,从0×0080到0×00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0×0370到0×03FF的代码,斯拉夫语使用从0×0400到0×04FF的代码,美国使用从0×0530到0×058F的代码,希伯来语使用从0×0590到0×05FF的代码。中国、日本和韩国的象形文字(总称为CJK)占用了从0×3000到0×9FFF的代码;由于0×00在c语言及操作系统文件名等中有特殊意义,故很多情况下需要UTF-8编码保存文本,去掉这个0×00。举例如下:
UTF-16: 0×0080
UTF-8:
UTF-32:采用4字节。
优缺点
UTF-8、UTF-16和UTF-32都可以表示有效编码空间(U+000000-U+10FFFF) 内的所有Unicode字符。
使用UTF-8编码时ASCII字符只占1个字节,存储效率比较高,适用于拉丁字符较多的场合以节省空间。
对于大多数非拉丁字符(如中文和日文)来说,UTF-16所需存储空间最小,每个字符只占2个字节。
WindowsNT内核是Unicode(UTF-16),采用UTF-16编码在调用系统API时无需转换,处理速度也比较快。
采用UTF-16和UTF-32会有Big Endian和LittleEndian之分,而UTF-8则没有字节顺序问题,所以UTF-8适合传输和通信。
UTF-32采用4字节编码,一方面处理速度比较快,但另一方面也浪费了大量空间,影响传输速度,故很少使用。
三. 如何识别文件编码类型?
1. 字节序
首先说一下字节序对编码的影响,字节序分为Big Endian字节序和LittleEndian字节序。不同的处理器可能不一样。所以,传输时需要告诉处理器当时的编码字节序。对于前者而言,高位字节存在低地址,低字节存于高地址;后者相反。
例如:
2. 编码识别 (BOM)
UNICODE,根据前几个字节可以判断UNICODE字符集的各种编码,叫做ByteOrder Mask方法BOM:
UTF-8: EFBBBF(符合UTF-8格式,请看上面。但没有含义在UCS即UNICODE中)
UTF-16 Big Endian:FEFF(没有含义在UCS-2中)
UTF-16 Little Endian:FFFE(没有含义在UCS-2中)
UTF-32 Big Endian:0000FEFF(没有含义在UCS-4中)
UTF-32 Little Endian:FFFE0000(没有含义在UCS-4中)
GB2312:高字节和低字节的第1位都是1。
BIG5,GBK&GB18030:高字节的第1位为1。操作系统有默认的编码,常为GBK,可以下载别的并升级。通过判断高字节的第1位从而知道是ASCII或者汉字编码。