Deep Learning

Deep learning

[Reference]

Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553):436.

Abstract

深度学习是由多处理层组成的计算层模型，通过多层抽象学习数据表示，这种方法在语言识别（Speech Recognition）、视觉物体识别、物体检测和其他诸如药理发现和基因组学等领域显著提升了state-of-the-art，深度学习通过使用反向传播算法，从大量数据中学习发现物体的复杂结构，而这种反向传播机制向系统指示了如何通过从前层网络中的特征表示来计算后面每一层的特征表示以达到改变网络中的参数的目的。深度卷积神经网络已经将反向传播机制引入到图像、视频、音频、报告的研究分析之中，而循环网络结构使得像文本、语音等序列型数据的前景光明。

---

Declaration

深度学习方法是带有多层表示的表示学习方法，由简单但是非线性的模块所构成，每一个模块将一层上的表示转化成更高层，更抽象层的表示。在足够的表示参与构成的情况下，复杂的功能结构就此形成，对于分类任务而言，高层特征表示可以强化输入数据，而这种强化对鉴别检测和抑制不相关变形是非常重要的。

深度学习擅长在高维数据中发现复杂结构

---

Supervised Learning

为了正常地调整权重向量，对于每一个向量，学习算法需要计算梯度向量，它表示如果权重增加或减少一个很小的量，误差将增加或减少的量。然后权重就会沿着梯度反方向进行调整。

目标函数，是在所有训练样本上的平均，在高维的权值向量空间中，可以被视作是具有波浪形状的函数，在这种结构中，梯度反方向被视为是权重下降最快的方向，使其接近最小值，输出误差平均值较低。

在实践过程中，实践者经常使用的处理方法叫做“随机梯度下降”（SGD），这包括显示几个样本的输入向量，计算输出和误差，计算这些示例的平均梯度，以及相应地调整权重。这一过程需要对在训练样本中的许多小的样本上进行不断重复，直到目标函数停止下降为止，其之所以被称之为“随机”，主要是由于每一个小规模的数据样本都对所有样本的平均梯度提供了一个噪声估计，与更精细的优化技术相比，这种简单的程序通常能够以惊人的速度快速找到一组良好的权重值。

图像和语音识别等问题要求输入输出函数对输入的无关变化（如位置的变化，物体的方向或照明，或者语音的音调或重音的变化）不敏感，而对特定的微小变化非常敏感。

---

Backpropagation to train multilayer architectures