转载(中文、日文、韩文编码问题)

原创 2007年09月28日 10:14:00
随着GB2312时代的没落和中国官方强制推行的GB18030的消沉,所有人都觉得,无需置疑地Unicode一统天下的时代即将,甚至已经来临了。

我也曾经是,现在仍旧是Unicode的推崇者。

推崇的理由很简单——在GB2312,ASCII的时代,一个程序、一个网页当中多种语言(除了英语之外的)无法并存。GB2312编码的文章,在BIG5下就是乱码;反之亦然。一篇文章中同时含有中文和日文,或者中文和法文的事情,更是难以做到。在程序中,编码的不一致就更可怕。你用一个函数传递过去一句问候,可是对方却用了错误的编码来解析你这句问候,结果就是一堆乱码。这给开发带来了很大的不便。

那么,Unicode,在我眼里理所应当要解决这些问题的。在Unicode里面,所有语言的编码互不冲突,因此在同一篇文章里可以同时显示所有语言——于是,我也毫不犹豫地在Windows编程中放弃了A结尾的API,全部使用W结尾的API;在网页上编码全都设置为UTF-8……

可是,事情真的是那样吗?直到最近,我才明白我想的太天真了。



仔细看看上面的两个“直”字,就会发现它们的不同——左边是中文中的直,右边则是日文中的直。类似的汉字还有“才”“具”“画”“角”“骨”等等。

在Unicode制定过程中,像上面这样不同国家的同一个汉字(写法上稍有区别)是否应当编码为同一个字时, 引起了很大的争议。争议的最终结果,是上面两个字被赋予同一个编码。就这样,中文、日文、韩文中的所有汉字都被搜集整理到一起,填充到Unicode编码的0×4E00到0×9FFF的庞大block当中。这些字按照字形排列,不再区分哪个是中文字符,那个是日文字符,哪个是韩文字符,统一叫做“CJK Unified Ideographs”。

这样做的问题就是,一个字符本身不具有了语言的属性,它到底是中文还是日文,取决于显示它的字体。例如上面的“直”字,如果我们用中文字体(例如SimSun, SimHei)显示它,就会得到图中左边的字,如果用日文字体显示它(如MS Gothic),就会得到右边日文的直。

这样做会导致什么问题呢?

1,无法利用文字的编码来区分其属于哪种语言的文字。
Unicode当中的其他语言——例如阿拉伯语,都有其固定的编码范围,例如阿拉伯语是0×0600到0×06FF。这样一个字符处理软件在处理到一个0×0600到0×06FF区间的字符时,它就知道现在在处理的是阿拉伯文。可是汉字呢?中日韩的汉字被无规律地混杂在同一个区间中,是哪国文字以无法辨认。

2,一种字体无法同时表示中文、日文和韩文
由于文字是利用字体显示来表明它自己是哪国文字的,那么一种字体将无法同时表示中文和日文。试想,你在创造一种字体;当你遇到“直”这个汉字时,你要么选择中文写法,要么选择日文写法,两者不可兼得。

这会带来什么后果呢?轻一点的后果,是中日文混用写成的文章中必须设置至少2种字体才能准确表达,因而在一些不支持混用字体的编辑器——例如Windows的记事本当中要么中文字符变成了日语,要么日语字符变成了中文。在日文Windows下浏览UTF-8中文网页的朋友,也发现那些中文字符都变成日文字符了吧(比如“骨”里面的横折跑到了右面)?试想这样“错字”连篇的中文能用在正式场合吗?

严重一些的后果是什么呢? 严重的后果就是,目前很多软件,尤其是西方欧美的字处理软件都在试图用同一种字体满足所有语言的需要。例如“Arial Unicode MS”字体,就是一种非常常用的Unicode字体。很显然,在事实上这样的字体在规定“直”字之类汉字的字模时也必须选择中文写法还是日文写法。

结果不过说也知道——也许是日本在IT界的影响力高于中国,也许是什么原因,似乎Arial Unicode MS之类的字体中凡是中日写法不同的字体,全都是日文写法。

换句话说,一个使用Arial Unicode MS的老外,即便他在用中文写一篇文章,即便他用的输入法是中文拼音,最后打出来的字符却全都是日文汉字。 他如果是个在学习中文的人,他学到的将是这些日文汉字。更甚之,如果将来这些所谓的“标准Unicode字体”一统天下,宋体、黑体没落的时候,中国人的电脑中的中国汉字也会不知不觉地被日本汉字取代,用电脑学习的小孩子们也会把电脑上出现的日本汉字当作汉字的正确写法。
许多人也许会想:一定要和日本竞争,争取让标准的Unicode字体里的汉字使用中文汉字——现在不是争不争的问题,问题是,既然中文日文中的“直”不是完全相同的汉字,为什么不在制定其编码阶段就把它们分开呢?

我不知道Unicode是否制定了完全把中日韩三种语言孤立开的版本;我只知道目前最流行的Unicode是像上面这样的。 使用Unicode的诸位,请务必提高警惕。

补充:并不是所有中日文里类似的汉字都像“直”字一样被编为同一个编码,例如“步”和“歩”就被分别编码了。但是这样的结果是,有的汉字被编为同一个编码,有的却没有,更加混乱了。 
 

Sql Server 存储韩文乱码。

在企业站后台,添加韩文时,发现添加韩文,后就变了乱码。 解决思路: 1. 查看数据保存后的数据 最后一个字段就是我们所添加的字段,显示为’???’乱码, 解决方法:字段...
  • EggDream
  • EggDream
  • 2017年11月10日 09:50
  • 390

常见编码格式

中文编码主要有以下四种: GB2312:简体中文编码,一个汉字占用2字节,在大陆是主要编码方式。当文章/网页中包含繁体中文、日文、韩文等等时,这些内容可能无法被正确编码。 BIG5:繁体中文编码。主要...
  • xfblue2dreamfy
  • xfblue2dreamfy
  • 2011年01月10日 15:02
  • 32435

lua utf-8编码的汉字

lua 的string库不支持处理utf-8编码的汉字。用lua要处理汉字还是很费劲的。 UTF8的编码规则: 1. 字符的第一个字节范围: 0x00—0x7F(0-1...
  • henren555
  • henren555
  • 2014年03月07日 09:33
  • 7550

韩文字体 解决韩文乱码问题

  • 2014年03月08日 11:48
  • 11.52MB
  • 下载

转载(中文、日文、韩文编码问题)

随着GB2312时代的没落和中国官方强制推行的GB18030的消沉,所有人都觉得,无需置疑地Unicode一统天下的时代即将,甚至已经来临了。我也曾经是,现在仍旧是Unicode的推崇者。推崇的理由很...
  • dwj_ry
  • dwj_ry
  • 2007年09月28日 10:14
  • 4639

韩文乱码相互转换器

  • 2015年05月11日 00:11
  • 200KB
  • 下载

韩文转换 乱码

  • 2013年05月17日 17:04
  • 1.33MB
  • 下载

日语韩语等常用正则表达式(笔记)

在遇到需要用正则校验数据时,往往是在网上去找很久,结果找来的还是不很符合要求。所以我最近把开发中常用的一些正则表达式整理了一下,在这里分享一下。就当作笔记1.基础\d 匹配一个数字字符。等价于...
  • coder_chenz
  • coder_chenz
  • 2017年03月15日 17:00
  • 2349

ASP 检测字符串是否包括汉字、数字、韩文、日文,以及其他语种字符的方法

ASP 检测字符串是否包括汉字、数字、韩文、日文,以及其他语种字符的方法 性质要用utf-8编码方式,用GB2312编码无法检测。 文件内容如下,请存为Test.asp 测试字符属性 ...
  • AMinfo
  • AMinfo
  • 2014年02月20日 21:21
  • 4408

oracle 中文韩文转化

 oracle注册表修改original NLS_LANGSIMPLIFIED CHINESE_CHINA.ZHS16GBKkorean NLS_LANGKOREAN_KOREA.KO16MSWIN9...
  • fdk1981
  • fdk1981
  • 2007年10月08日 11:29
  • 657
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:转载(中文、日文、韩文编码问题)
举报原因:
原因补充:

(最多只允许输入30个字)