卷积神经网络——CNN

卷积神经网络

全连接神经网络：每两层之间的节点都有边相连接，包括输入层、激活层、全连接层
卷积神经网络：包括输入层、卷积层、池化层、全连接层、softmax层

卷积(Convolution)

卷积是卷积神经网络最核心的概念。卷积层中最重要的部分是过滤器(filter)，又称为内核(kernal)。

如图所示，输入图像的像素为5×5，使用一个3×3的filter(卷积核)，此时步长stride为1，filter从左上角开始向右滑动，每次滑动一格，输出值为整个像素块与卷积核的加权和。
若输入图像为M×M，卷积核为n×n，步长为d，则输出图像为[(M-n)/d+1]×[(M-n)/d+1]。

Padding

经过卷积操作后，一般会产生以下两个问题：
（1）feature map的尺寸会越来越小；
（2）边缘像素点的影响比较小，可能会丢失边缘信息。
为了解决该问题，引出padding这个概念，即全零填充，这样可以保持图片在卷积前后尺寸不变。

卷积网络的特点：
局部连接
共享权值
filter(kernel)/stride/padding

激励(Activation)

对于卷积神经网络，一般使用新的激活函数，即Relu函数，f(x)=max(0,x).。
(1)为什么使用非线性激活函数？
因为如果使用线性的激活函数，那么输入x跟输出y之间的关系为线性的，便可以不需要网络结构,直接使用线性组合便可以。只有在输出层极小可能使用线性激活函数，在隐含层都使用非线性激活函数。
(2)为什么采用Relu函数，而不使用Sigmoid或tanh等函数呢？
ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题(梯度爆炸)，使得模型的收敛速度维持在一个稳定状态。

池化(Pooling)

池化又称为欠采样或下采样，对输入的特征图进行压缩，一是使特征图变小，简化网络计算的复杂度；二是进行特征压缩，提取主要特征。池化操作一般有两种Max Pooling和Average Pooling，多用Max Pooling(即最大池化)。

如上图所示，4x4的特征图，通过2x2的filter，步长为2，取出最大值，从而将特征图压缩为2x2的，降低了维度。

全连接层(Full connected)

全连接层把所有的特征连接在一起，然后送到分类器中。
softmax是CNN中比较常见的一种分类器，用来进行概率处理，归一化。