GB2312,GBK,GB18030,UTF8四种汉字编码标准有什么差别和联系

最新推荐文章于 2022-06-17 09:16:59 发布

weixin_30556959

最新推荐文章于 2022-06-17 09:16:59 发布

阅读量1.3k

点赞数

文章标签： python

原文链接：http://www.cnblogs.com/lxjshuju/p/6885219.html

版权

从GB2312、GBK 到 GB18030，这些编码方法是向下兼容的，即同一个字符在这些方案中总是有同样的编码，后面的标准支持很多其它的字符。在这些编码中，英文和中文能够统一地处理。

区分中文编码的方法是高字节的最高位不为 0。

依照程序猿的称呼，GB2312、GBK 到 GB18030 都属于双字节字符集 (DBCS)。

下面是这四种字符集的包括关系：GB2312 < GBK < GB18030 < UTF8

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

1980年的GB2312一共收录了7445个字符，包含6763个汉字和682个其他符号。

1995年的汉字扩展规范GBK1.0收录了21886个符号，包含21003个汉字和883个其他符号。

GB18030有两个版本号：GB18030-2000和GB18030-2005。GB18030-2000是GBK的代替版本号，它的主要特点是在GBK基础上添加了CJK统一汉字扩充A的汉字。GB18030-2005的主要特点是在GB18030-200初级上添加了CJK统一汉字扩充B的汉字。

否则在处理部分文件时，进行转换编码转换的时候。会出现转不了的情况，就会报错。

比方在PYTHON里，

for l in open('abc_gb18030.txt'):
    ls = l.rstrip('\n').decode('gbk').encode('utf8').split('\t')
    print ls

abc_gb18030.txt是GB18030编码，在代码里。先转成了GBK，然后又转成了UTF8，由于在向GBK转换的时候，是又一个较大字符集往小的字符集转，所以就会报错。

转载于:https://www.cnblogs.com/lxjshuju/p/6885219.html

关注