深度学习入门（六）：深度学习

深度学习

进一步提高识别精度

集成学习，学习率衰减，数据扩充
Data Augmentation基于算法“人为地”扩充输入图像。
对于输入图像，通过施加旋转、垂直或水平方向上的移动等微小变化。
通过裁剪图像的“crop处理”、将图像左右翻转的“flip处理”对于一般图像，施加亮度等外观上的变化、放大缩小等尺度上的变化也是有效的。

加深层的动机

可以减少网络的参数数量。加深了层的网络可以用更小的参数达到同等水平的表现力。叠加小型滤波器来加深网络的好处是可以减少参数的数量，扩大感受野（给神经元施加变化的某个局部空间区域）。并且，通过叠加层，将ReLU等激活函数夹在卷积层的中间，进一步提高了网络的表现力，通过非线性函数的叠加，可以表现更加复杂的东西。
另一个好处就是使学习更加高效。与没有加深层的网络相比，通过加深层，可以减少学习数据，从而高效学习。

VGG

VGG是由卷积层和池化层构成的基础的CNN。特点在于将有权重的层叠加至16层，具备了深度。
VGG中需要注意的地方是，基于3×3的小型滤波器的卷积层的运算是连续进行的。重复进行“卷积层重叠2次到4次，再通过池化层将大小减半“的处理，最后经由全连接层输出结果。

GoogLeNet

GoogLeNet在横向上有“宽度”，这称为“Inception结构”。Inception结构使用了多个大小不同的滤波器（和池化），最后再合并它们的结果。GoogLeNet的特征就是将这个Inception结构用作一个构件（构成元素）。在GoogLeNet中很多地方使用了1×1的滤波器的卷积层。这个1×1的卷积运算通过在通道方向上减小大小，有助于减少参数和实现高速化处理。

ResNet

ResNet的特征在于具有比以前的网络更深的结构。
在深度学习中，过度加深层的话，很多情况下学习将不能顺利进行，导致最终性能不佳。为了解决这类问题，导入了“快捷结构”（也称为“捷径”或“小路”）。导入这个结构后，就可以随着层的加深而不断提高性能了。

在连续两层的卷积层中，将输入x跳着连接至2层后的输出。通过快捷结构，原来的2层卷积层的输出$$F（x)$$变成了$$F（x）+x$$。
通过快捷结构，反向传播信号可以无衰退地传递。
因为快捷结构只是原封不动地传递输入数据，所以反向传播时会将上游的梯度原封不动地传向下游。这里的重点表示对来自上游的梯度进行任何处理，将其原封不动地传向下游。因此，基于快捷结构，不用担心梯度会变小（或变大），能够向前一层传递“有意义的梯度”。
迁移学习
实践中经常会灵活应用使用ImageNet这个巨大的数据集学习到的权重数据，这称为迁移学习，将学习完的权重（的一部分）复制到其他神经网络，进行再学习。

说明

此为本人学习《深度学习入门》的学习笔记，详情请阅读原书.