多语言处理 --> UNICODE --> IBM的ICU类库

原创 2004年06月04日 12:00:00


多语言处理 --> UNICODE --> IBM的ICU类库

最近写的一个C++程序里需要处理不同语言编码之间的相互转换问题,主要是GBK、BIG5、UTF-8和UTF-16这几种编码,程序虽小,但转换操作相对复杂一些。起初只想用C++本身提供的功能——包括C++标准里的wchar_t类型,C语言运行库中的locale函数集、mbstowcs和wcstombs函数,以及标准C++库中的wstring、wfstream等类——解决问题。不过,实际编起程序来,这些东西虽然能实现编码转换的功能,但总显得比较繁琐,缺少面向对象的流畅感。最讨厌的是,不同的C++编译器对这些东西的支持程度也不一样,vc相对好一些,其他的总要调上半天才能运行起来,有时还会碰上奇怪的编码错误。

现在想一想,以前在MFC中,直接用CString或TCHAR数组存储字符串,用WIN32的MultiByteToWideChar和WideCharToMultiByte函数处理编码转换的做法也比上面的方法好不到哪儿去,而且更难于移植。

所以,这会儿就特别怀念用Java语言处理类似问题的惬意了,Java本身的char类型就是UNICODE的,同时又在API中提供了面向对象的编码转换机制。所以,在Java中,下面这种转换文件编码的操作看上去就相当舒服:

InputStreamReader in = new InputStreamReader(new FileInputStream(old_name), "BIG5");
OutputStreamWriter out = new OutputStreamWriter(new FileOutputStream(new_name), "GBK");
while((i = in.read()) >= 0)
 out.write(i);

更复杂的编码转换问题,在Java中解决起来也非常简单。这里面最本质的问题在哪里呢?是不是Java把自己的内核(“内核”这个词不恰当,有点儿像以前说的“内核级汉化”了)设计成UNICODE的缘故呢?换句话说,是不是Java里char类型本身就是UNICODE类型带来的好处呢?.NET平台的语言,像C#和VB.NET也是按照类似Java的模式设计的,在这些语言中处理编码转换问题似乎也很方便。C/C++是后来才引入的国际化功能,char和wchar_t也是相互分离的,是不是必然会有许多麻烦呢?

前几天在Linux上写一个Ruby脚本,用于管理和监控我自己家里的宽带连接(我对Ruby不熟,是边查Ruby手册边写程序的),发现Ruby内建的字符类型也是单字节的,如果处理UNICODE或编码转换时,还得使用其他的库,也需要来回转换,而且,用Ruby Tk编写控制界面时,在Linux上显示中文的问题就搞得我头疼不已。这是不是说,像Ruby这样的脚本语言,如果把内部的字符类型改为UNICODE的,就会对国际化功能支持得更好,就会被更多的人接受呢?或者说,以后出现的解释型脚本语言(动态语言?),都应该使用类似Java的机制呢?

回到C++上来。我发现C++本身的国际化功能有限以后,就开始寻找好用的类库。我先去查了查Boost,发现Boost里没有太多相关的东西,唯一一个对我有用的类库Date-Time还实现得非常糟糕,Boost中的Date-Time支持的年代范围非常有限,还只实现了格列高里改历后的现代历法(Gregorian System),比起Java中的GregorianCalendar类和.NET中的System.Globalization.Calendar类族,差了太多太多。

随后,我想起的是Apache的Xerces-C++,这个处理XML的类库,当然应该支持编码转换和UNICODE编程。但翻了翻文档,发现Xerces-C++毕竟只是个专用于XML处理的类库,其中虽然有一些国际化支持,但缺少的东西更多。

然后,我就在IBM的网站上发现了Mark Davis的文章Forms of UNICODE(http://www-900.ibm.com/developerWorks/cn/unicode/utfencodingforms/index_eng.shtml),这篇东西真好,不仅讲UNICODE基础知识,还让我找到了一个叫ICU的类库。这个ICU现在是International Components for Unicode的缩写,网址是

http://oss.software.ibm.com/icu/

然后我就特别高兴地发现,Java中的国际化功能最早就是由ICU那帮人实现的(我以前怎么没发现呢?)。所以,现在的ICU类库(包括C++和Java的版本)在接口上和Java API非常类似。ICU对各种编码转换的支持非常全面,还提供regular expression这样实用的功能,ICU中的GregorianCalendar类可以提供和Java中的GregorianCalendar类大致相同的功能(我在http://www.csdnblog.net/wangyonggang/archive/2004/05/17/732.aspx中说过这些东西)。

哎呀哎呀,IBM真好,ICU不错!我需要的功能都有,现在可以停止辛苦的寻找,研究研究ICU,编写我的程序了。

 

com.ibm.icu_3.8.jar

  • 2017年02月05日 19:38
  • 4.26MB
  • 下载

启动Tomcat报错icu4j-2.6.1.jar!/com/ibm/icu/impl/data/LocaleElements_zh__PINYIN.class

这段时间遇到一个奇怪的错误,错误大致如下: icu4j-2.6.1.jar!/com/ibm/icu/impl/data/LocaleElements_zh__PINYIN.class; neste...
  • fay462298322
  • fay462298322
  • 2017年05月03日 10:11
  • 1423

ICU介绍

因为要在十方开发一个FrontServer,因此需要将各种类型的字符集转换为标准的UTF-8,然后进行字符串比较等操作。因此,自然的想到了用ICU包中的UnicodeString来实现,下面,就使用I...
  • HappySong
  • HappySong
  • 2005年01月18日 01:07
  • 3906

解决 每次Tomcat启动都报icu4j告警的问题

Tomcat每次启动都报: [WARNING] Unable to process class com/ibm/icu/impl/data/LocaleElements_zh__PINYIN.cla...
  • sl543001
  • sl543001
  • 2013年10月25日 18:03
  • 10426

ICU-International Components for Unicode-字符编码的转换-先记下

ICU(International Component for Unicode/Unicode国际化组件) 是 Unicode 支持、软件国际化、全球化的一个成熟的、广泛应用的库,是一个由 IBM 赞...
  • suwei19870312
  • suwei19870312
  • 2011年07月31日 14:26
  • 2350

跨平台的文字编码转换方法--ICU

最近在做一套跨平台的短信收发开发程序,遇到了一个问题,那就是文字编码转换。在windowsg下的转换有库函数MultiByteToWideChar        WideCharToMultiByte...
  • serverxp
  • serverxp
  • 2010年04月28日 11:03
  • 7913

ICU unicode转化

  • 2010年08月23日 22:14
  • 11.15MB
  • 下载

Unicode支持的MD5类

  • 2014年10月20日 15:14
  • 5KB
  • 下载

unicode库

Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言...
  • szlcw1
  • szlcw1
  • 2015年04月13日 19:11
  • 897

ICU4C

原文:http://www.ibm.com/developerworks/cn/opensource/os-cn-icu4c-ls1/ 文本处理的相关知识 字符编码 文本由一系列字符组成...
  • huang546213693
  • huang546213693
  • 2015年11月26日 12:33
  • 1186
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:多语言处理 --> UNICODE --> IBM的ICU类库
举报原因:
原因补充:

(最多只允许输入30个字)