NLP初见

NLP简述

自然语言语言处理(简称NLP)是目前应用最广的领域,从大的方面来看包括语音识别、语音合成、机器翻译、词性标注、实体识别、情感分析、推荐系统、信息检索、数据挖掘、文本分类、文本挖掘等领域。目前NLP技术的应用包括两种,一种是传统的机器学习技术,现在最新的技术是采用各种算法集成的技术;另一种是目前比较火的深度学习技术。比如在机器翻译(MT)方面,在最开始就利用的是传统的机器学习技术,比如常见的算法,kNN、Bayes、Decision Tree、SVM、浅层的ANN等分类算法以及回归算法等等,而且如今应用比较多的集成模型在性能方面有了很大的提升;在深度学习领域,RNN、LSTM在自然语言处理方面的表现相当惊人,比如谷歌在机器翻译方面,逐渐的用深度学习技术来进行产品开发,在部分产品中已经用深度学习技术来代替部分传统的机器学习技术。但是,目前深度学习技术虽然在自然语言处理方面取得了突出的进步,但是还不是非常成熟,需要进一步的发展,包括工程技术和理论上的突破。很多公司现在大部分应用的是传统的机器学习技术,这也是因为传统的机器学习理论扎实,有很好的可解释性。因此,在自然语言处理领域,当遇到一个问题时,首先要分析这个问题,适合什么样的技术,是使用传统的机器学习技术还是深度学习技术,这是必须要考虑的,而不是对于一个问题就立刻用某种模型。比如当数据量不算很大,而且特征容易提取,处理的是结构化数据,这样的话,一般而言传统的机器学习技术要优于深度学习技术;而数据量过大,对于一些非结构化数据的处理,经验性的选择深度学习技术。总之,不管怎么说,要想从事自然语言处理相关的工作,必须要具备传统的机器学习技术和深度学习技术这两者,这样才有可能跟好的在这个领域发展下去。

为什么说自然语言处理是AI皇冠上的明珠?先来看看人工智能之父阿兰·图灵是如何定义机器智能的。如果一台计算机能够欺骗人类,让人相信它是人类,那么该计算机就应当被认为是智能的。机器能跟我们人类交流吗,能像我们人类一样理解自然语言吗,这也是人类最初对人工智能的幻想。如今,它已经成为人工智能与机器学习最核心的领域——自然语言处理。这是一门融合计算机科学、计算语言学、人工智能于一体的科学,解决的是“让机器可以理解自然语言”,然而到目前为止,都还只是人类独有的特权,也就是说如果让机器在自然语言领域取得突破,才算得上机器真正具备了智能,语言是人类区别于其他动物的根本标志,没有语言,人类的思维就无从谈起,所以自然语言处理体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了处理自然语言的能力时,机器才算实现了真正的智能。因此,自然语言处理被誉为是人工智能皇冠上的明珠。举个生活中的例子,在自然语言处理与强化学习技术的结合,可以让机器参加高考,比如2017年学霸君机器人Aidam与6位高考状元实时PK,拿到134分的数学高分,虽然比6位高考状元的平均分135低1分,但也是相当了不起。之所以,机器答题能取得如此大的成就,机器学习技术与自然语言处理技术功不可没。以自然语言处理来讲,计算机首先需要把公式、公理、定理、题目信息等经过一系列转化,转化成计算机所能理解的形式化语言,然后再把形式化语言变成自然语言输出,以便让人能够读懂步骤。简单来谈下Aidam的解题过程,涉及到3部:首先,自然语言翻译成机器能理解的形式语言,这里主要可以用RNN的一套机制,把题目翻译成以“主谓宾”为单位的最小描述单位,用于描述题目的各种状态;第二步,进行推理与运算。这也是一个多层网络。区别在于数学计算(比如函数的最大值)在目前有很多运算比较难以用简单的RNN或者CNN去模拟。学霸君采用了一类叫做知识元网络的方案,把知识的基础运算连接成网络;第三步,形式语言通过机器翻译,翻译成人类理解的自然语言,也就是把答案展现给人类。在机器内部的数学解题系统中包括自然语言理解、语义表达和映射、数学推理等技术,这便是自然语言处理技术的典型应用,另外一个例子就是,作诗。作诗是种艺术,但是,近几年,自然语言处理技术的发展已经做到了这一点。而且,科学家与技术人员在近几年里已经开始让机器开始去做阅读理解,而且也开发出了相关的数据集。由此可以看出,在未来,随着自然语言处理技术的不断进步,真正的人工智能不再遥远。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值