多语言处理 --> UNICODE --> IBM的ICU类库

原创 2004年06月23日 09:55:00

    最近写的一个C++程序里需要处理不同语言编码之间的相互转换问题,主要是GBK、BIG5、UTF-8和UTF-16这几种编码,程序虽小,但转换操作相对复杂一些。起初只想用C++本身提供的功能——包括C++标准里的wchar_t类型,C语言运行库中的locale函数集、mbstowcs和wcstombs函数,以及标准C++库中的wstring、wfstream等类——解决问题。不过,实际编起程序来,这些东西虽然能实现编码转换的功能,但总显得比较繁琐,缺少面向对象的流畅感。最讨厌的是,不同的C++编译器对这些东西的支持程度也不一样,vc相对好一些,其他的总要调上半天才能运行起来,有时还会碰上奇怪的编码错误。

现在想一想,以前在MFC中,直接用CString或TCHAR数组存储字符串,用WIN32的MultiByteToWideChar和WideCharToMultiByte函数处理编码转换的做法也比上面的方法好不到哪儿去,而且更难于移植。

所以,这会儿就特别怀念用Java语言处理类似问题的惬意了,Java本身的char类型就是UNICODE的,同时又在API中提供了面向对象的编码转换机制。所以,在Java中,下面这种转换文件编码的操作看上去就相当舒服:

InputStreamReader in = new InputStreamReader(new FileInputStream(old_name), "BIG5");
OutputStreamWriter out = new OutputStreamWriter(new FileOutputStream(new_name), "GBK");
while((i = in.read()) >= 0)
 out.write(i);

更复杂的编码转换问题,在Java中解决起来也非常简单。这里面最本质的问题在哪里呢?是不是Java把自己的内核(“内核”这个词不恰当,有点儿像以前说的“内核级汉化”了)设计成UNICODE的缘故呢?换句话说,是不是Java里char类型本身就是UNICODE类型带来的好处呢?.NET平台的语言,像C#和VB.NET也是按照类似Java的模式设计的,在这些语言中处理编码转换问题似乎也很方便。C/C++是后来才引入的国际化功能,char和wchar_t也是相互分离的,是不是必然会有许多麻烦呢?

前几天在Linux上写一个Ruby脚本,用于管理和监控我自己家里的宽带连接(我对Ruby不熟,是边查Ruby手册边写程序的),发现Ruby内建的字符类型也是单字节的,如果处理UNICODE或编码转换时,还得使用其他的库,也需要来回转换,而且,用Ruby Tk编写控制界面时,在Linux上显示中文的问题就搞得我头疼不已。这是不是说,像Ruby这样的脚本语言,如果把内部的字符类型改为UNICODE的,就会对国际化功能支持得更好,就会被更多的人接受呢?或者说,以后出现的解释型脚本语言(动态语言?),都应该使用类似Java的机制呢?

回到C++上来。我发现C++本身的国际化功能有限以后,就开始寻找好用的类库。我先去查了查Boost,发现Boost里没有太多相关的东西,唯一一个对我有用的类库Date-Time还实现得非常糟糕,Boost中的Date-Time支持的年代范围非常有限,还只实现了格列高里改历后的现代历法(Gregorian System),比起Java中的GregorianCalendar类和.NET中的System.Globalization.Calendar类族,差了太多太多。

随后,我想起的是Apache的Xerces-C++,这个处理XML的类库,当然应该支持编码转换和UNICODE编程。但翻了翻文档,发现Xerces-C++毕竟只是个专用于XML处理的类库,其中虽然有一些国际化支持,但缺少的东西更多。

然后,我就在IBM的网站上发现了Mark Davis的文章Forms of UNICODE(http://www-900.ibm.com/developerWorks/cn/unicode/utfencodingforms/index_eng.shtml),这篇东西真好,不仅讲UNICODE基础知识,还让我找到了一个叫ICU的类库。这个ICU现在是International Components for Unicode的缩写,网址是

http://oss.software.ibm.com/icu/

然后我就特别高兴地发现,Java中的国际化功能最早就是由ICU那帮人实现的(我以前怎么没发现呢?)。所以,现在的ICU类库(包括C++和Java的版本)在接口上和Java API非常类似。ICU对各种编码转换的支持非常全面,还提供regular expression这样实用的功能,ICU中的GregorianCalendar类可以提供和Java中的GregorianCalendar类大致相同的功能(我在http://www.csdnblog.net/wangyonggang/archive/2004/05/17/732.aspx中说过这些东西)。

哎呀哎呀,IBM真好,ICU不错!我需要的功能都有,现在可以停止辛苦的寻找,研究研究ICU,编写我的程序了。

Android 4.4.2 ICU 语言包 精简、裁剪、定制、本地化

Android 4.4.2 ICU 语言包 精简、裁剪、定制、本地化 引言 最近接到了精简Android 4.4.2系统源码中的ICU4c语言包的任务,随即百度谷歌一通找,可是找来找去...
  • a332324956
  • a332324956
  • 2015年09月21日 22:50
  • 2093

icu与jdk7不兼容问题解决

[14-10-09 16:34:17.037] {main} failed scanning class com/ibm/icu/impl/data/LocaleElements_zh__PINYIN...
  • kexinmei
  • kexinmei
  • 2014年10月09日 16:41
  • 3499

libIconv库实现中文中字符串与GBK、Unicode、UTF-8三种编码互转

libIconv库实现GBK、Unicode、UTF-8三种编码互转比window api更为简单,而且libIconv库跨平台。 IibIconv库在windows下的编译参照windows下使用V...
  • bladeandmaster88
  • bladeandmaster88
  • 2017年02月01日 23:32
  • 2220

XechWic关于Delphi7实现多语言环境unicode支持的方案

  • 2011年10月21日 13:52
  • 97KB
  • 下载

使用ICU4C进行多国语言应用程序开发(1) —— 发布多国语言库

使用ICU4C进行多国语言应用程序开发(1)——发布多国语言库 ICU中定义的资源树结构(resource tree structure),主要用于打包构建多语言环境时查找指定语言内容时的一种规范(自...
  • hitzzl
  • hitzzl
  • 2011年03月08日 13:31
  • 1098

ICU4C 在 IBM Lotus Symphony 中的应用

使用 ICU4C 增强 Symphony 文本处理功能付 兴旺, 软件开发工程师, EMC贾 彦民, 软件开发工程师, EMC来 竞, 软件开发工程师, EMC 简介: 本文描述了使用 ICU 来完善...
  • sy0725
  • sy0725
  • 2011年05月13日 13:46
  • 801

Java 的 I/O 类库的基本架构[IBM]

I/O问题是任何编程语言都无法回避的问题,可以说 I/O 问题是整个人机交互的核心问题,因为 I/O是机器获取和交换信息的主要渠道。在当今这个数据大爆炸时代,I/O 问题尤其突出,很容易成为一个性能瓶...
  • shadowkiss
  • shadowkiss
  • 2011年11月04日 11:33
  • 404

com.ibm.icu_3.6.0.20061215

  • 2009年06月14日 10:35
  • 3.77MB
  • 下载

开源界面库SOUI的多语言动态切换及dpiaware支持demo

  • 2017年05月02日 23:49
  • 756KB
  • 下载

多语言支持库For Delphi

  • 2006年03月16日 00:00
  • 6KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:多语言处理 --> UNICODE --> IBM的ICU类库
举报原因:
原因补充:

(最多只允许输入30个字)