分类: 技术视野 |
2004年10月写的一个材料。
-------------------------------------------
一、该领域涉及主要产品及技术
1、中文输入输出技术
连续语音识别
小键盘智能拼音输入
高自然度语音合成
视频文字识别
2、机器翻译
英汉机器翻译
为中国人服务的英文辅助写作
3、语言学习
面向中国人的英语教学
语言学习、语音校正
面向外国人的汉语教学
4、信息检索
搜索引擎
新一代搜索引擎:问答系统
以搜索引擎技术为基础的网络信息服务
文本挖掘
从大量文本中挖掘知识
5、内容安全
垃圾邮件/短信过滤
有害(反动、色情)网页监控
二、各类产品及技术的发展现状与趋势(包括技术与市场)
(一)发展现状
1.技术及产品发展现状
(1)中文输入输出
在输入方面,基于键盘的中文输入方法已经成熟,字形编码输入法和拼音联想输入法都使输入速度有了很大的提高。在非键盘输入方面,联机手写中文输入达到了很高的识别率,已完全实用化,脱机印刷体汉字识别技术在纸张质量较好的条件下,也达到了实用化的程度;非特定人中文连续语音识别技术距离实用还有较长的距离,特别是由于中国不同地方的普通话都带有地方口音,造成真实条件下识别率严重下降。
在输出方面,语音合成技术有了很大的发展,单词级句子级的可懂度均能满足用户需求,自然度方面有待改进。在特定领域,例如天气预报,语音合成已经达到以假乱真的水平,但在通用领域,机器的味道仍然较重,听起来比较刻板,时间长了造成用户的听觉疲劳。
(2)机器翻译
广义的机器翻译软件可以分为电子词典、汉化(或屏幕)翻译、全文翻译和辅助翻译四种类型。电子词典和汉化翻译软件技术相对简单,已经完全成熟,各家技术的差别仅在于词汇量和技术细节。全文翻译被认为是21世纪的十大科技难题之一,因此尽管经过了多年的努力,也取得了不少成绩,但是距离实用化的要求还有很远的距离。辅助翻译系统,包括翻译记忆(Translation Memory)由于采用人机交互的方式,软件在翻译过程中只起辅助作用,把翻译的决定权交给人来处理,因此在目前情况下是最有市场潜力的翻译技术。
(3)语言学习
以中文信息处理技术支持语言学习是一项既有实用价值,又有研发空间的课题。语言学习包括面向中国人的英语学习和面向中国儿童和外国人的汉语辅助教学等。具体的辅助学习手段包括汉字认读、语法校对、口语发音校正等。应用的中文信息处理技术包括手写汉字识别、语音识别和校正、汉语语法校对等。
(4)信息检索
搜索引擎已经成为当今中文信息处理技术在互联网应用方面的热点。基于关键词的海量数据的搜索技术已经成熟,这些技术运行在语言的表层,不能抓住语言背后的知识内涵,但是运行速度快,能够满足用户对海量数据即时检索的需求。
搜索引擎主要是一种“拉”的技术,与之相应的是“信息推送”,。以竞争情报系统为代表的信息推送技术日趋成熟,它帮助用户随时监控互联网上信息的变化,找出用户感兴趣的内容及时推送给用户。
文本挖掘是数据挖掘的一个分支,对电子商务等方面的研究具有重要的支撑作用。根据文本挖掘获得的潜在的商业信息对公司的决策很有帮助,这方面的技术,包括文本的分类、摘要等日趋成熟,已接近实用。
(5)内容安全
主要包括垃圾邮件/短信过滤技术和有害(反动、色情)网页监控技术。这些技术常常以语言处理基础为支撑,包括文本分类、文本聚类等,由于有害信息的制造者常常为了逃避过滤而乔装改扮,从而给过滤技术造成了难度。此外,由于过滤技术无法达到100%的程度,而误判可能将用户关心的,甚至是重要的信息删除掉,因此目前的过滤技术只能采用人机互助的方式,由人最终确认信息的有害性,或者干脆牺牲部分合法的信息,这是一种两难的选择。
2.市场发展现状
(1)中文输入输出
键盘输入市场已经相当成熟并趋于饱和,五笔字型占有了字形编码输入方法的大部分市场,微软拼音、智能ABC等占据着拼音输入方式的大部分市场,近年来中文键盘输入市场已经有“万马奔腾”转向以几种输入方式为主导的市场。
连续语音识别在IBM ViaVoice的带动下曾一度火爆,但由于连续语音输入技术上仍有不少难点没有攻破,而且没有找到最合适的应用方式,因此在市场上暂时呈现冷却态势。
手写输入市场“汉王”一枝独秀,但由于手写屏价格偏高,且手写输入速度较慢,目前在手持设备上仍以小键盘输入方式为主。
以科大讯飞为代表的语音合成技术为语音产业注入了生机,目前已得到广泛的应用。
(2)机器翻译
电子词典和汉化翻译软件已经广泛应用在PC机平台、互联网平台和嵌入式设备中。其中的杰出代表是“金山词霸”系列软件、文曲星电子词典等。
塔多思公司在翻译记忆软件方面处于世界领先地位,他们的翻译记忆软件在中国市场上也占有绝对优势。
中科华建集团在英汉汉英全文机器翻译领域处于国内领先地位
但是由于通用软件受到盗版等问题的严重困扰,金山词霸、华建机器翻译软件等通过单独销售翻译软件的获利非常有限。
(3)语言学习
目前教育软件的发展势头非常迅猛,而教育软件中英语学习软件占有很大的市场份额。由于中国人在练习外语口语时常常害羞,张不开口,因此通过软件或网络,加入到虚拟的英语学习环境中,由计算机帮助纠正英语发音,对口语学习的帮助很大。
目前市场上以金洪恩、翰林会等为代表的语言教学软件已经取得了一定的市场份额,但是这些软件的智能化程度不高,主要还是对教学素材的整理和重现,真正互动的英语教学软件还没有出现。
(4)信息检索
在中文搜索引擎领域,国际大公司和国内主要搜索引擎公司在市场上的争夺已经白热化。国际公司主要是Google、Yahoo和微软,国内主要是百度、中国搜索、搜狗和天网等。在2003年的中文搜索市场,百度公司占据48.2%的市场份额,Google以29.8%的市场份额名列第二。搜索引擎将成为人们使用互联网的第一入口,能够被搜索引擎找到并排名靠前,将意味着你的网页更有机会被其他网络用户看到,否则可能淹没在信息海洋中,因此搜索引擎成为兵家必争之地。
Google、百度、天下互联等都已经推出了自己的竞争情报系统,用户可以通过提交关键词订购每天的最新消息,这种服务是图书情报业“定题服务”的延伸,对于满足用户相对稳定的那部分信息需求非常有效。
在检索之后的文本发掘将使用户获得的信息变得真正有价值。目前IBM等公司都已经推出了自己的文本挖掘软件包,国内TRS公司等也提供了文本分类、文本摘要等文本挖掘功能,目前文本挖掘技术的用户都是企业用户。
(5)内容安全
2004年统计显示:中国网民平均每周收到13.7封电子邮件,其中垃圾邮件占了7.9封,垃圾邮件数量已经超过了正常邮件数量。同时,随着手机用户的大幅度增长和短信业务受到广大用户的青睐,垃圾短信也大量的侵入人们的生活。因此,垃圾邮件/短信的过滤日益受到人们的关注。
黄色和反动的网页、邮件严重危害了青少年身心健康,随着国家打击黄色网站等法律法规的出台,一批黄色网站过滤软件相应出台,例如深圳任子行公司的产品等。
(二)发展趋势
1.技术及产品发展趋势
(1)中文输入输出
在手机等移动设备上的小键盘智能拼音输入法也取得了一定的发展,小键盘输入具有单手操作拇指按键的优点,但是和PC机键盘相比重码率更好,因此对智能拼音输入方法提出了新的挑战。
汉字识别在视频领域的应用是新的亮点,比如从视频新闻中识别关键文字,进而对新闻进行过滤分类等。
小词汇集噪声背景下的语音命令输入技术由于应用场合清楚,技术相对成熟,因此在未来有着较好的发展前景。
语音合成向着高自然度以及情感语音合成的方向发展,未来的语音合成效果将更加人性化,带有情感色彩。
(2)机器翻译
全文机器翻译正在将基于规则、基于实例和基于统计等各种信息集成起来对抗翻译知识不足的问题,并寻求在特定领域,例如和奥运相关的旅游、餐饮、体育比赛报道等方面的技术突破。
(3)语言学习
语言辅助阅读、辅助写作技术、口语发音校正技术将为语言学习类产品提供原动力。语言辅助阅读可以帮助用户识别外文中的多义词在上下文中的词义,识别外文中复杂的句法结构等;辅助写作可以帮助用户通过查找例句,写出地道的外文文章;口语校正技术可以将用户正确的发音和不正确的发音区别开来,并指出不正确的发音存在的问题,给出改进发音的建议。这些技术的发展有赖于中文信息技术的整体进步。
(4)信息检索
目前搜索引擎的主要问题是缺乏智能,用户的输入是关键词的组合,无法准确地表达用户的检索需求,搜索引擎的输出是网页集合,需要用户自己从这些返回的网页中进一步寻找答案,浪费了时间。
问答式搜索引擎是未来搜索引擎的发展方向,AskJeeves、Weniwen、孙悟空等搜索引擎都试图提供问答式的信息检索服务,但是由于目前语言处理技术尚不成熟,因此问答技术尚需时日。
(5)内容安全
未来的内容过滤技术将融合多方面的信息,比如将信源地址和信息内容相结合,将图片信息和文字信息相结合,将声音信息和文字信息相结合等等,将信息内容和信息行为(例如群发)相结合等,从而进一步提高准确性。由于信息的不同特征是异质的,因此这些信息如何有机地融合在一起是一个难题。
2.市场发展趋势
(1)中文输入输出
中文输入输出技术主要以嵌入式的形式应用于各种应用系统之中,它的市场价值也将通过这些应用系统间接体现出来。
(2)机器翻译
市场短期内将以双语词典、辅助翻译等形式展开,特别是辅助翻译技术市场前景看好。
尽管全文机器翻译软件由于技术上的不成熟,受到用户较多的批评,但是由于世界全球化的趋势不断加强,中国加入世贸,中国在2008年举办奥运会等,使中国国内对翻译的需求量不断增长,大量用户都在关注机器翻译领域的进展,只有技术能够突破门限,将产生大面积的应用。
(3)语言学习
据统计,国外学习汉语的人已经超过2000多万,并且随着中国在国际上的影响力不断增强,这个数字还将不断上升。并且国外的软件使用者比较规范,盗版现象较少,因此面向外国人的汉语教学软件将拥有越来越大的市场。
随着语音识别、虚拟现实等技术的日益成熟,将使口语学习软件的智能化程度不断提高,从而进一步提高用户的学习兴趣,是用户在虚拟场景中不知不觉地学好外语。
(4)信息检索
搜索引擎的市场越来越大,据预测,到2006年尽中文搜索引气归能够的市场就将达到24亿元人民币。而且搜索引擎逐渐成为人们使用互联网的第一入口,和一个国家的经济文化利益相关,因此将越来越受到各国的高度重视。
在通用检索市场不断扩大的同时,面向企业,和商务智能等相结合的专用检索与挖掘技术的市场也在增长。
(5)内容安全
过滤软件将根据不同需求,在代理服务器和客户端等不同位置发挥作用。反垃圾邮件和反黄色网站的市场将不断增长。
三、国内外差距及其原因
由于语言壁垒的存在,以及国外对中文市场的关注不够,国内在中文信息处理方面曾在二十世纪80年代、90年代在某些技术上处于国际领先地位,比如汉字激光照排、中文智能拼音输入、汉字编码、汉卡、手写汉字识别等。这些技术推动了第一代中国计算机公司的发展,如联想、方正、四通、王码、汉王等,但是随着国外大公司日益关注中国市场,纷纷在中国设立研究中文处理的研发机构,目前在市场上国内公司并不占优势。Word的用户远远超过了WPS,摩托罗拉等外企在手机中推出的手写识别技术同样非常成熟,IBM、微软在语音识别和TTS技术上处于领先地位,Google提供的中文搜索也在国内占有30%的市场份额,并且从技术实力来讲胜过中国的百度。
国内和国外的差距具体体现在以下几个方面:
1、国外的理论水平高,积淀深,因此即使介入某个中文处理领域的时间并不长,但是由于数学模型和研究方法方面的优势,往往能够很快地做出出色的研究成果来。
2、国外的科研成果转化率比国内高,国外大公司,特别是跨国公司是技术转化的主要动力,他们从国内外高校和科研机构中吸引人才和购买技术,并将这些人才和技术与其已有的规范的开发体系相融合,从而快速地推出实用化技术。
3、国外企业的市场推广能力比国内高,他们往往借助其已有的品牌优势和市场渠道,把新技术嵌入老产品中,迅速推广。
造成上述差距的原因主要是以下几个方面:
1、 国内研发方面的投入太少
国内研发方面的投入主要来自国家,由于中文信息处理不象ERP等方向和实用距离那么近,回报那样快,因此国内大型计算机企业很少介入这方面的开发,而往往采用观望的姿态,因为风险比较大。而国家的投入主要给了高校和科研院所,这部分投入对于研究有一定的帮助,对于研究成果向产品的转化力度明显不足。
2、 国外聘用中国优秀人才进行开发
由于国外企业用高薪聘请中国人才为其工作,因此语言文化封面的瓶颈不复存在,反而由于国内博士毕业生去外企工作带去了国内的研究成果,使国外的研发工作能够在国内研究的基础上进行,起点更高了。国外公司常常采用直接购买国内研究成果的方式,加快其开发的过程。
3、 国内的研究工作相对分散
国内有限的研究资金和人力相对分散,重复开发非常严重,特别是一些基础研究工作,如词典、语料库、分词标注软件等,被众多单位重复开发,缺乏标准,缺乏共享和协作。
4、 国内研究者和国际上的交流不够
对国际的技术、市场发展动态不够熟悉,跟踪性质的研究,闭门造车式的研究较多,还没有完全融入国际学术界。
5、 国内软件盗版严重
盗版现象严重打击了软件开发者的积极性,而中文信息处理软件多为通用性软件,不象专用软件那么好保护,因此常常成为被盗版的对象,象金山公司的“金山词霸”就由于严重的盗版问题而损失了很大的利益。
在看到差距的同时,也应该看到我们的优势:
1、人才密集,中国高校的研究生队伍不断扩大,随着高校社会地位的提高,年轻骨干教师的人数也不断增长,因此从研究人力方面来看,我们具有一定的优势。
2、国际国家的技术评测推动了国内各单位的技术交流和融合,国家863每年举办的技术评测吸引了越来越多的单位参加,有利于及技术进步。
3、共享、合作的观念开始被国内研究者接受,共享语料库越来越多,共享源代码也开始出现。
4、由于国内同仁的艰苦努力,多年来积累的技术开始开花结果,在英汉机器翻译、汉语语音合成等方面我们的技术仍然走在世界的前列。
四、该领域“十五”期间存在的问题
在“十五”期间,中文信息处理领域存在的主要问题是:
1、资金投入不足;
2、重点不突出;
3、企业在技术集成方面没能发挥足够的作用,致使技术和市场脱节;
4、法律法规日益健全,但是执行力度不够,技术发明人的利益受到损害;
5、原创性发明不多,跟踪式研究较多。
五、我国15年该领域发展研究
(一)未来15年的远景目标
中文信息处理技术发展到今天,部分技术已经相当成熟,失去足够的研究空间和进一步发展的市场空间,例如手写汉字识别、普通键盘输入、汉字编码等;部分技术即将在十五期间开花结果,例如搜索引擎技术、语音合成技术、辅助翻译技术、垃圾邮件过滤技术等;还有一些技术,由于需要深层语言理解技术的支撑或者问题本身的难度太高,因此需要在较长的一段时间内,认真地进行技术积累,到2020年左右作出突破性的成果,例如机器翻译、非特定人连续语音识别、文本的深度挖掘等。
总的来说,中文信息处理已经走过了字处理,包括字的显示、编码、输入的阶段,部分跨越了词处理阶段,正在向短语、句子和篇章处理发展的过程中。未来的5-15年,主要的竞争将在以句子为核心的技术上展开,并最终将信息处理的单元放大到篇章一级。
未来5年的目标:
以词处理为基础,以篇章处理为背景,以句子处理为核心,以标准化的评测为技术评估手段,将全国最优秀的技术力量集中起来,重点突破句法分析、句义分析、句子级语音处理等关键技术,为各项应用技术奠定基础;以信息检索、内容管理与内容安全、语言学习等市场较为成熟,难度较低的方向为产品和产业开发的重点,拉动各项底层关键技术的进步,并形成中文信息处理为主体的产业,以及附着于其他产业之上附加产业。中文信息处理在很大程度上是一个从属产业,它需要自然地融入电子商务、网络安全、图书情报业、移动计算、远程教育、电子政务等各项应用系统中才能充分地发挥作用。十五末,应使我国在中文信息处理的技术水平和市场占有率在多个子领域迈入或保持国际领先水平。
未来15年的目标:
2010年以后,中文信息处理的重心将逐渐从句处理向篇章处理偏移,因为很多语言处理的问题在以句子为单位的狭小语境中无法解决,必须在篇章范围内才能真正解决。因此,到2020年,中文信息处理应该在篇章处理和以篇章为单位的文本集合的处理上迈出更大的步伐。这包括基于篇章理解的自动文摘、机器翻译、文本检索、文本分类等将成为研究的重点。届时,由于语言处理技术的进步,中文信息处理将由语言处理向以语言为载体的信息处理和知识处理过渡,从而真正为知识经济的发展做出贡献。我国的中文信息处理技术到2020年盈利正全面地处于国际领先地位,确保我们的语言文字在信息时代不但不被废弃和淹没,反而在世界范围内得到广泛的认同和使用,并为我国的信息化建设做出突出贡献。
(二)发展重点
重点发展我国具有领先优势,对国家的信息化建设影响较大,在未来的五到十年内技术上有可能产生突破性进展,市场方面将产较大需求的领域,重点投资,重点扶持。这些领域包括:
1、中文输入输出技术,包括:连续语音识别、小键盘智能拼音输入、高自然度语音合成、视频文字识别;
2、机器翻译,包括:英汉汉英双向机器翻译、辅助翻译;
3、语言学习,包括:面向中国人的英语辅助教学(语言学习、语音校正)、面向外国人的汉语教学
4、信息检索,包括:新一代问答式搜索引擎、以竞争情报为代表的网络信息服务、面向商业智能的文本挖掘系统
5、内容安全,包括:垃圾邮件/短信过滤、有害(反动、色情)网页监控
(三)关键技术及创新
关键技术包括基础技术和应用技术两个方面。
关键性的基础技术包括:
1、 汉语标准的词典资源和语料库资源的建设
2、 汉语短语分析和句法分析
3、 汉语词义消歧和浅层语义分析
4、 双语语料库句对齐、词对齐技术
5、 翻译知识的自动获取技术
6、 语音识别中非特定人自适应
7、 语音识别中的结构化语言模型
8、 语音合成中的韵律模型技术,包括停顿和重音的标注与生成问题
9、 海量文本数据的高速索引、匹配技术
10、 视频中的文字图像切割技术
关键性的应用技术包括:
1、 数字小键盘上语句级智能拼音汉字转换技术
2、 噪声背景下非特定人连续语音识别
3、 高自然度情感语音合成
4、 视频中文字图像的识别以及相应的视频分类检索技术
5、 专用领域的全自动机器翻译和辅助翻译技术
6、 口语语音学习及校正技术
7、 智能型问答式信息检索技术
8、 跨语言、多语言信息检索以及语音检索技术
9、 互联网信息采集、过滤、分类、跟踪、汇总与推送技术
10、 垃圾邮件过滤
(四)目标产品
目标产品包括:
1、具有小键盘智能拼音输入和垃圾短信自动过滤等功能的智能手机软件;
2、智能化的网络新闻自动采集、分类、过滤、分析服务平台,包括高自然度的新闻朗读系统;
3、特定域问答式的互联网搜索引擎;
4、面向中国人的外语学习辅助系统,包括听说读写等全方位的辅助学习技术,综合语言处理、语音识别与校正等多项关键技术;
5、面向外国人的汉语教学辅助系统;
6、面向奥运会等国际大型会议的多语种翻译设备,包括口语和书面语的翻译等;
7、面向企业的以文本为主要载体的内容管理、发布系统;
8、以语言文字语音为主要处理对象的数字图书馆系统
9、面向企业和咨询业的互联网竞争情报平台;
10、企业级内容安全软件,包括对垃圾邮件、黄色信息、反动信息的过滤,以及商业机密的防泄露功能。
(五)建议重大科技项目
1.基础类项目
(1)词义消歧及译文选择
(2)句法分析
(3)浅层语义分析
(4)信息检索模型(基于本体论、基于语言模型等)
(5)语音识别中的自适应问题
(6)双语语料库的句对齐、词对齐
(7)翻译知识自动获取
(8)语义相似度计算和转述(Paraphrasing)问题
(9)语音合成中的情感韵律建模与生成技术
(10)语音识别中非特定人自适应
(11)语音识别中的结构化语言模型
2.技术开发类项目
(1)海量文本数据的高速索引、匹配技术
(2)数字小键盘上语句级智能拼音汉字转换技术
(3)噪声背景下非特定人连续语音识别
(4) 高自然度情感语音合成
(5) 视频中文字图像的识别以及相应的视频分类检索技术
(6) 口语语音学习及校正技术
(7) 智能型问答式信息检索技术
3.应用研究类项目
(1)专用领域的全自动机器翻译和辅助翻译技术
(2)跨语言、多语言信息检索技术
(3)语音检索技术
(4)互联网信息采集、过滤、分类、跟踪、汇总与推送技术
(5)垃圾邮件过滤
(6)具有小键盘智能拼音输入和垃圾短信自动过滤等功能的智能手机软件
(7)特定域问答式的互联网搜索引擎
4.产业化类项目
(1)智能化的网络新闻自动采集、分类、过滤、分析服务平台,包括高自然度的新闻朗读系统;
(2面向中国人的外语学习辅助系统,包括听说读写等全方位的辅助学习技术,综合语言处理、语音识别与校正等多项关键技术;
(3)面向外国人的汉语教学辅助系统;
(4)面向奥运会等国际大型会议的多语种翻译设备,包括口语和书面语的翻译等;
(5)面向企业的以文本为主要载体的内容管理、发布系统;
(6)以语言文字语音为主要处理对象的数字图书馆系统
(7)面向企业和咨询业的互联网竞争情报平台;
(8)企业级内容安全软件,包括对垃圾邮件、黄色信息、反动信息的过滤,以及商业机密的防泄露功能。
5.条件支撑与保障类项目
(1) 标准的词典资源和文本语料库资源的建设
(2) 语音识别和语音合成用语料资源的建设
(3)中文信息处理评测技术,包括评测资源建设、评测标准和方法的研究等
(4)国内中文信息处理资源开放平台,这些资源包括技术资料、各种标准和规范、词典、语料库、评测数据和评测程序等,每个研究者都可以通过网络登录这个平台,提交自己的资源,下载他人的资源。
(5)科研成果转化交流平台,由政府主办,企业界在此发布需求信息,学术界在此介绍最新的技术,双方寻找合作机会。
(六)发展该领域的政策与措施需求
中文信息处理关系不仅仅关系到国民对信息的利用能力,关系到国家的知识产业中的劳动生产率,而且关系到国家文化在互联网时代的兴衰,因此应该从政策上保护和推动该领域的发展。尤其是在未来的20年中,该领域在应用技术方面处于成熟期,一批多年积累的科研成果将转化为产品,进入市场,而国际竞争非常积累,我们的政策应该保护国内从事中文信息处理原创技术发明和推广的个人和企业,包括税收减免、产权保护等。
对于国内具有一定经济实力和市场占有率的计算机企业,应进一步鼓励其吸纳高校和科研院所的科研成果,对于高技术企业,特别是吸纳了国内原创技术的企业技术政策上的优惠。
进一步加重专利和技术转让在对高校和科研机构的评估中的比重,推动科研人员和企业、市场建立联系,积极地将核心技术推向社会。从舆论宣传上,进一步提高发明者的社会地位,同时,对发明人进行教育,避免发明人过于看中自己的发明,而贻误转让技术的时机。
从职务发明的所有权上向发明者个人让利,探索和规范化在技术转让过程中投入方、开发方、市场推广方和技术发明人等各方之间的利益分配机制,保护各方的积极性。
政府推动进行标准的技术评测,推动各研发单位的技术交流,选拔出真正优秀的技术和研究者,给予重点扶持。
政府投资进行公共的基础资源和平台的建设,对于那些对中文信息处理产业发展至关重要的基础资源,政府应该大力投资委托开发或购买该资源的产权,使更多的研究者能够获益。