技术创新已成为企业竞争中的主导内容,已逐渐替代商品和价格,成为各国、地区、企业参与经济竞争和市场竞争的重要手段。近期,Smartbi获得了一项发明专利——自然语言分析 (NLA)。
NLA是什么?自然语言分析,简称NLA,是以NLP为基础,将处理结果运用到数据分析软件,最后利用自然语言查询、分析信息系统中的数据。简单地说,NLA使用户通过自然语言迅速获取分析数据。
下面来说说NLP。
一、概念
自然语言处理,即NLP是指利用计算机来处理、理解和使用人类语言。自然语言是人类区别其它生物的本质特征,没有了语言,就没有人类的思维。因此 NLP就是人工智能的最终目标。这意味着,想要真正地达到智能,计算机必须拥有能够处理自然语言的功能。
从技术上讲, NLP包括序列标注、任务分类、句子关系判断和产生任务等。NLP在实际应用中有着广阔的应用前景,包括机器翻译,信息检索,信息抽取和过滤,文本分类和聚类,舆论分析,意见挖掘等。
NLP的出现与机器翻译息息相关。当“人工智能”被正式提出的时候,它的创立者们将电脑下棋和机器翻译当作了两项重要的工作,他们相信,如果国际象棋系统战胜了人类的冠军,并且让机器翻译系统达到了人类的水平,那么人工智能就会获得成功。IBM的深蓝超级电脑于1997年击败世界棋王卡斯帕罗夫。但至今为止,机器翻译还不能与人类的翻译水平相提并论,可见 NLP的难度有多大!
二、发展趋势
目前,以自然语言处理为研究对象的研究有两种,一种是以规则为基础的理性主义,一种是以统计学为基础的实证研究。理性主义认为,人类的语言主要是通过语言规则来产生和表达,所以如果人们能够可以通过恰当的表达方式来表示人类的语言,就能实现翻译语言等 NLP任务。而经验主义则主张从语言资料中获得语言统计知识,并对其进行有效的统计建模。所以,只要有足够的统计资料,就可以听懂人类的语言。但是,在现实世界中,两者都存在着诸多的不确定性。比如,人类语言在现实使用过程中存在噪声。理性主义方法最大的缺点是一旦偏离规则,就无法有效处理。而经验主义的研究方法,由于无法获得大量的语言资料来进行统计学习,所以也不可能完全了解人类的语言。自二十世纪80年代起,以语言规律为基础的理性主义方法遭到了越来越多的质疑,大量的语言数据处理已经成为当前和今后的一个重要课题。在自然语言处理中,计算机自动学习已成为人们关注的焦点。