深度学习的过往

深度学习的过往

1.1深度学习的局限性

- 几十年来，构建模式识别和机器学习系统需要技艺高超的工程师和经验丰富的专家设计特征提取器（Feature Extractor），将原始数据（如图像的想数值）转化为合适的中间表示形式或特征向量（Feature Vector），学习子系统（通常为分类器）可以对输入模式进行检测或分类。

- 深度学习的方法则不需要人工设计特征提取器，而是机器自动学习获得，特别适用于变化多端的自然数据，具有非常优良泛化能力和鲁棒性。

1.2从表示学习到深度学习

- 在表示学习（Representation Learning）系统中，直接以原始数据形式提供机器输入，自动发现用于检测和分类的表示（Representation），深度学习是一种多层表示学习方法，用简单的非线性模块构建而成，这些模块将上一层表示（从原始数据开始）转为更高层，更抽象的表示，当一个学习系统由足够多这样的简单的非线性模块构建时，可以歇歇非常复杂的功能。

- 对于分类问题，高层表示能强调重要的类别信息，同时抑制无关的背景信息，一幅图像总是以像素值数组形式提供网络输入，第一层学习到的特征为边缘信息，即图像某个位置是否存在特定朝向的边缘；第二层检测边缘信息按特定方式组成及基图案，而不关心边缘位置的变化；第三层将基本图案组合起来，对应典型物体的部件，后序层检测由部件组成的物体。深度学习最关键的方面是这些特征层不是由专家设计的，而是使用通用学习方法自动从数据学习得到的。这些从低到高的”表示”是人类无法预估的，完全由机器决定哪些特征是自己需要的，哪些是可以抑制的。

- 深度学习十分擅长在高维数据中发现复杂结构，在图像识别，语音识别中打破多项纪录。

1.3反向传播算法

- 从最早的模式识别（Pattern Recognition）时期开始，研究者的目标就是用可训练的多层网络取代人工特征工程。但该解决方案并没有被广泛认可，知道20世界80年代中期，研究者才证明多层架构可以通过SGD训练。只要模块是其输入和内部权值的相对平滑函数，就可以使用反向传播步骤计算梯度。

- 对H1层的每个单元j，其值 $y_j=f(z_j),z_j=\sum w_{ij}x_i,$其中 $i$取便所有输入节点$z_j$是对前一层所有节点的加权和，这里省略的偏置项。网络中使用非线性函数 $f$对$z_j$进行非线性变换，得到该层输出 $y_j$。
- 反向传播算法的关键一点就是代价函数相对于一个模块输入的导数（或梯度），可以通过目标函数相对于该模块输出的导数反向传播求得。反向传播公式可以重复应用，将梯度从顶层输出（网络产生预测的位置）通过所有模块传递到底（输入层）。所有这些中间梯度计算出来之后，再计算代价目标函数相对于每个模块内部权值的梯度就非常容易了。以输出层到H1层权值为例，其误差梯度为 $\frac {\partial E} {\partial w_{ij}} = \frac {\partial E} {\partial y_j} \cdot \frac {\partial y_j} {\partial z_j} \cdot \frac {\partial y_j} {\partial z_j} \cdot \frac {\partial z_j} {\partial w_{ij}} = \frac {\partial E} {\partial y_j} \cdot \frac {\partial y_j}{\partial z_j} \cdot x_i.$

1.4卷积神经网络

- 有一种特殊类型的深度前馈网络，训练更简单，泛化能力比相邻层用全连接更好，这就是卷积神经网络（ConvNet）。当神经网络被抛弃时，他却在多个领域取得成功，如今在计算机视觉社区被广发接受。
- ConvNet的四项基本原则：局部互联、共享权值、下采样以及使用多个卷积层。
- 共享权值意味着更少的参数量，下采样保证了局部不变性，多特征图允许不同卷积核作为不同的特征提取器，训练时使用反向传播算法。