CNN入门之cnn架构和cnn卷积、采样

一. CNN简介 　　CNN（卷积神经网络）是传统神经网络的变种，CNN在传统神经网络的基础上，引入了卷积和pooling。与传统的神经网络相比，CNN更适合用于图像中，卷积和图像的局部特征相对应，pooling使得通过卷积获得的feature具有空间不变性 1、模型架构          这部分讲述如何去构建一个分级的特征提取和分类系统。分级通过堆叠一个或者多个特征提取阶段，每个阶段包括一个滤波器组合层、非线性变换层和一个pooling层，pooling层通过组合（取平均或者最大的）局部邻域的滤波器响应，因而达到对微小变形的不变性。 1）、滤波器组层Filter Bank Layer-FCSG：         FCSG一般包括三部分：一组卷积滤波器（C）、再接一个sigmoid/tanh非线性变换函数（S），然后是一个可训练的增益系数（G）。分别对应下面的三个运算： 2）、校正层Rectification Layer-Rabs：        只是简单的一个取绝对值的操作（如果是tanh，则存在负的值，但在图像中负值是不表示的，而对于卷积来说，里面的都是绝对值越大，非线性函数输出的绝对值最大，实际意义是一样的。卷积是越相似，输出值越大）。除了绝对值算子外，我们还试过了其他的非线性算子，产生的效果差不多。 3）、局部对比度归一化层Local Contrast Normalization Layer-N：         该模块主要进行的是局部做减和做除归一化，它会迫使在特征map中的相邻特征进行局部竞争，还会迫使在不同特征maps的同一空间位置的特征进行竞争。在一个给定的位置进行减法归一化操作，实际上就是该位置的值减去邻域各像素的加权后的值，权值是为了区分与该位置距离不同影响不同，权值可以由一个高斯加权窗来确定。除法归一化实际上先计算每一个特征maps在同一个空间位置的邻域的加权和的值，然后取所有特征maps这个值的均值，然后每个特征map该位置的值被重新计算为该点的值除以max（那个均值，该点在该map的邻域的加权和的值）。分母表示的是在所有特征maps的同一个空间邻域的加权标准差。哦哦，实际上如果对于一个图像的话，就是均值和方差归一化，也就是特征归一化。这个实际上是由计算神经科学模型启发得到的。 4）、平均池化和子采样层Average Pooling and Subsampling Layer -PA：        该层的作用是使得提取的特征对微小变形鲁棒，和视觉感知中的复杂细胞的角色差不多。采样窗口所有值取平均得到下采样层的值。 5）、最大值池化和子采样层Max-Pooling and Subsampling Layer -PM：        可以用任何一种对称的pooling操作实现对提取的特征的平移不变性。最大池与平均池相似，只是最大取代了平均。一般来说，池化窗口是不重叠的。 2、实验与结论        1）滤波器组后面接的non-linearities非线性算法是如何影响识别的准确性的？      俺们的实验结论是，简单的矫正过的非线性算子会提高识别性能。原因可能有二： a）特征的对立polarity（也就是负值的特征）和目标的识别是无关的。 b）在采用平均池化的时候，矫正层的添加会消去邻近的滤波器输出之间的cancellations，因为如果没有矫正，平均下采样只会传播输入的噪声。另外&