NLP初见

NLP简述

自然语言语言处理（简称NLP）是目前应用最广的领域，从大的方面来看包括语音识别、语音合成、机器翻译、词性标注、实体识别、情感分析、推荐系统、信息检索、数据挖掘、文本分类、文本挖掘等领域。目前NLP技术的应用包括两种，一种是传统的机器学习技术，现在最新的技术是采用各种算法集成的技术；另一种是目前比较火的深度学习技术。比如在机器翻译(MT)方面，在最开始就利用的是传统的机器学习技术，比如常见的算法，kNN、Bayes、Decision Tree、SVM、浅层的ANN等分类算法以及回归算法等等，而且如今应用比较多的集成模型在性能方面有了很大的提升；在深度学习领域，RNN、LSTM在自然语言处理方面的表现相当惊人，比如谷歌在机器翻译方面，逐渐的用深度学习技术来进行产品开发，在部分产品中已经用深度学习技术来代替部分传统的机器学习技术。但是，目前深度学习技术虽然在自然语言处理方面取得了突出的进步，但是还不是非常成熟，需要进一步的发展，包括工程技术和理论上的突破。很多公司现在大部分应用的是传统的机器学习技术，这也是因为传统的机器学习理论扎实，有很好的可解释性。因此，在自然语言处理领域，当遇到一个问题时，首先要分析这个问题，适合什么样的技术，是使用传统的机器学习技术还是深度学习技术，这是必须要考虑的，而不是对于一个问题就立刻用某种模型。比如当数据量不算很大，而且特征容易提取，处理的是结构化数据，这样的话，一般而言传统的机器学习技术要优于深度学习技术；而数据量过大，对于一些非结构化数据的处理，经验性的选择深度学习技术。总之，不管怎么说，要想从事自然语言处理相关的工作，必须要具备传统的机器学习技术和深度学习技术这两者，这样才有可能跟好的在这个领域发展下去。

为什么说自然语言处理是AI皇冠上的明珠？先来看看人工智能之父阿兰·图灵是如何定义机器智能的。如果一台计算机能够欺骗人类，让人相信它是人类，那么该计算机就应当被认为是智能的。机器能跟我们人类交流吗，能像我们人类一样理解自然语言吗，这也是人类最初对人工智能的幻想。如今，它已经成为人工智能与机器学习最核心的领域——自然语言处理。这是一门融合计算机科学、计算语言学、人工智能于一体的科学，解决的是“让机器可以理解自然语言”，然而到目前为止，都还只是人类独有的特权，也就是说如果让机器在自然语言领域取得突破，才算得上机器真正具备了智能，语言是人类区别于其他动物的根本标志，没有语言，人类的思维就无从谈起，所以自然语言处理体现了人工智能的最高任务与境界，也就是说，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。因此，自然语言处理被誉为是人工智能皇冠上的明珠。举个生活中的例子，在自然语言处理与强化学习技术的结合，可以让机器参加高考，比如2017年学霸君机器人Aidam与6位高考状元实时PK，拿到134分的数学高分，虽然比6位高考状元的平均分135低1分，但也是相当了不起。之所以，机器答题能取得如此大的成就，机器学习技术与自然语言处理技术功不可没。以自然语言处理来讲，计算机首先需要把公式、公理、定理、题目信息等经过一系列转化，转化成计算机所能理解的形式化语言，然后再把形式化语言变成自然语言输出，以便让人能够读懂步骤。简单来谈下Aidam的解题过程，涉及到3部：首先，自然语言翻译成机器能理解的形式语言，这里主要可以用RNN的一套机制，把题目翻译成以“主谓宾”为单位的最小描述单位，用于描述题目的各种状态；第二步，进行推理与运算。这也是一个多层网络。区别在于数学计算（比如函数的最大值）在目前有很多运算比较难以用简单的RNN或者CNN去模拟。学霸君采用了一类叫做知识元网络的方案，把知识的基础运算连接成网络；第三步，形式语言通过机器翻译，翻译成人类理解的自然语言，也就是把答案展现给人类。在机器内部的数学解题系统中包括自然语言理解、语义表达和映射、数学推理等技术，这便是自然语言处理技术的典型应用，另外一个例子就是，作诗。作诗是种艺术，但是，近几年，自然语言处理技术的发展已经做到了这一点。而且，科学家与技术人员在近几年里已经开始让机器开始去做阅读理解，而且也开发出了相关的数据集。由此可以看出，在未来，随着自然语言处理技术的不断进步，真正的人工智能不再遥远。