卷积神经网络整理

卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT + CONV + RELU + POOL + FC

 

一、卷积层

 

卷积层的作用是：提取特征

是对图像的一个邻域进行卷积得到图像的邻域特征，池化层是使用pooling技术将小邻域内的特征点整合得到新的特征。

二、池化层：
在完成卷积特征提取之后，对于每一个隐藏单元，它都提取到(r-a+1)*(c-b+1)个特征，把它看作一个矩阵，并在这个矩阵上划分出几个不重合的区域，然后在每个区域上计算该区域内特征的均值或最大值，然后用这些均值或最大值参与后续的训练，这个过程就是池化。
池化操作一般有两种：Avy Pooling，max Pooling

 

池化层的本质是采样，Pooling对于输入的Feature Map，选择某种方式对其进行压缩。（降采样层）

 

池化的优点：

1.显著减少参数数量

2.池化单元具有平移不变性

     pooling可以保持某种不变性（旋转、平移、伸缩等）

池化的方式：

1. 一般池化（General Pooling）

1）mean-Pooling, 即对邻域内特征点只求平均，对背景保留更好

2）max-Pooling, 即对邻域内特征点取最大值，对纹理提取更好

3）Stochastic-pooling,介于两者之间，通过对像素点按照数值大小赋予概率，在按照概率进行亚采样；

特征提取的误差主要来自两个方面：(1) 邻域大小受限造成的估计值方差增大；(2) 卷积层参数误差造成估计均值的偏移。一般来说，mean-polling能减小第一种误差，更多的保留图像的背景信息，max-pooling能减小第二种误差，更多的保留纹理信息。在平均意义上，与mean-pooling近似，在局部意义上，则服从max-pooling的准则。

三、全连接层：在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接层的全连接层可以转化为卷积核为1*1的卷积；而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积，h和w分别为前层卷积结果的高和宽。