卷积神经网络基础总结

原文地址：卷积神经网络基础总结 作者：王江源

一、卷积的基本操作过程

卷积也称为滤波，是一种线性的信号处理技术。

二、卷积神经网络的卷积层结构

单层动态演示：

详见： https://cs231n.github.io/assets/conv-demo/index.html

output = W*input + b

不同层之间的连接

 

三、卷积层参数之间的关系

卷积层的输入（不考虑Batch）：3维张量H1×W1×D1，其中H、W为图像的高度和宽度，D1为图像的深度（如RGB通道，简单理解为图像的张数）

卷积核（kernal）的个数：K，通常为2的n次方

每个卷积核的维度大小：F，（真正的维度是F×F×D1）

卷积的步长：S，指的是卷积核每次滑动的距离

输入图像边缘的Padding： P

偏置的维度：等于卷积核的个数K

卷积层的输出：3维张量H2×W2×D2。

他们之间的关系如下：

（1）输出特征图像的个数等于卷积核的个数：D2 = K

（2）输出图像的宽度：W2 = （W1 - F + 2P）/S + 1

（2）输出图像的高度：H2 = （H1 - F + 2P）/S + 1

一个输出特征图共享一个卷积核参数和偏置。

可训练参数的个数：（F×F×D1 + 1）×K

四、Pooling(池化/降采样)过程

Pooling层一般用于降维，将一个k×k的区域内取平均或取最大值，作为这一个小区域内的特征，传递到下一层。传统的Pooling层是不重叠的，使Pooling层重叠可以降低错误率，而且对防止过拟合有一定的效果。

通常取2×2或3×3 Pooling， 该过程没有可训练的参数。

五、深度神经网络

1、深度革命中遇到的问题： 

随着CNN网络的发展，尤其的VGG、GoogLeNet等网络的提出，大家发现网络的层数是一个关键因素，貌似越深的网络效果越好。但是随着网络层数的增加，问题也随之而来。 

 （1）第一个问题： vanishing/exploding gradients（即梯度消失或爆炸）：这就导致训练难以收敛。但是随着 normalized initialization and BN(Batch Normalization)的提出，解决了梯度消失或爆炸问题。 

 （2）第二个问题：网络越深，训练误差和测试误差越大。在收敛问题解决后，又一个问题暴露出来：随着网络深度的增加，系统精度得到饱和之后，迅速的下滑。让人意外的是这个性能下降不是过拟合导致的。对一个合适深度的模型加入额外的层数导致训练误差变大。如下图所示，可通过Deep Residual Learning 框架来解决这种因为深度增加而导致准确性下降问题。

2、深度卷积网络的演变