从业务角度理解深度学习及其应用

近几年，深度学习在图像、音频处理等领域得到了广泛的应用并取得了骄人的成绩，本文根据笔者的工作实践，谈谈对深度学习理解，以及我们的应用和经验。文章涉及的很多结论，是笔者个人的理解和不充分实验的结果，所以难免谬误，请读者不吝指正。

机器学习就是学习对象的表示

“机器学习/深度学习模型依靠左右互搏，可以迅速达到很高的智能水准。”、“人工智能/深度学习能毁灭人类的奇点即将来到！” 网络上经常出现这类观点，让笔者非常惊讶。而让笔者更惊讶的是，很多人居然相信了。那么，什么是机器学习呢？

机器学习的对象是我们生活中所接触到的一切事物，这些事物包含自然界的事物，以及人类抽象出来的概念。笔者认为，机器对于这些对象的学习，本质上是使用机器语言对其特征进行表示。例如，对性别的识别，其实就是计算机将样本表达成男/女两种形式。

目前的计算机是以CMOS管为基础的冯诺依曼结构，其运算是线性的，数据的表达是0维度的。如何让低维度的计算机处理高维度的对象？这个表示的过程其实就是机器学习的过程。就如同处在二维空间的蚂蚁无法感知三维世界一样（图1），笔者认为目前的计算机0维的运算结构无法真正实现类似人类智能的人工智能，因为这种表示是不充分的。

图1 二维空间的蚂蚁无法感知三维世界

比如，自然界中的事物有其独特的属性，同时是相互关联的，这些规律有的被人类发现，有的则依旧未知，同时数字的表达能力是有限的。如图2所示，这个是英国地图的轮廓，如果使用数字只能够去逼近，但永远无法进行准确描述。

图2 英国地图的轮廓

我们使用计算机对每个事物进行二进制编码可以区别每个事物，但却忽略了事物的属性以及相互之间的关联性。机器学习则是在人为设定的规律前提下，寻找对事物的表示，并一定程度上保留这种关联性。

从宏观上看，笔者认为目前多数的人工智能可以视为一个表示和索引的过程：机器学习完成了表示，人工智能部分就是基于表示的索引。根据目标，我们可以用多种方法，将对象表达成多种数学结构、数字、向量、矩阵等等。下面就是对这些表达式进行存储，这些表达式具有明确的意义，比如男女分类中表达式就是(0,1)，(1,0)分别表示男女两种模式。当一副照片进行预测时，首先我们需要寻找其表达式(0.3,0.7)，在存储的模式中索引其表达的意义。

深度学习简述

简单地说，深度学习就是使用多层神经网络对对象进行表达。当然这里面衍生出了很多的具体技术和方法。下面简要介绍深度学习里面常用的概念和典型的网络，这些会在后续的项目实践中涉及。

卷积神经网络（Convolutional Neural Networks, CNN）

CNN是对传统的神经网络的简化。举个例子，1,000×1,000的图像，如果隐含层数目与输入层一样，即也是1,000,000时，那么输入层到隐含层的参数数据为1,000,000×1,000,000=10^12，当隐层不止一层，参数将是一个巨大的量级，现实中我们的硬件资源是有限的，所以引入了卷积神经网络。

卷积神经网络使用卷积核实现了两个目的：1.减少参数；2.对空间进行编码。

如何减少参数？

• 采用局部连接取代全连接，即全局相关变成局部相关。基于这样一个现实，图片中像素点之间是存在空间相关性的，强度跟间距成负相关。所以笔者认为局部化实质上是相关性较弱的远处像素点，所以存在性能的损失。
• 共享参数，基于这样的假设，相同距离的像素点之间的相关性相同，当然这也是一种无可奈何的折中。

循环神经网络（Recurrent Neural Networks, RNN）

RNNs的目的使用来处理序列数据，RNNs会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

RNNs已经被实践证明对NLP是非常成功的，如词向量表达、语句合法性检查、词性标注等。在RNNs中，目前使用最广泛、最成功的模型便是LSTMs（Long Short-Term Memory，长短时记忆）模型。

神经网络的反馈算法

神经网络依靠反馈算法进行参数调整，实