CNN卷积神经网络的理解

斯坦福大学CS231N这门课真的不错，网易云公开课上有，视频笔记集合：
http://baijiahao.baidu.com/sid=1570790793398706&wfr=spider&for=pc

一般神经网络结构和CNN卷积神经网络的对比

从左图我们可以很容易理解神经网络的结构，对于一般神经网络而言，对于每一个节点，其输出为 y = f( （w1x1 + b1 +） + (w2x2 + b2 ) …)。其中w表示x对应的权重，b表示bias偏置量，即w,x,b构成了关于x的直线方程，f(x)表示激活/响应函数，一般是将神经元的输出压缩至[0,1]范围，例如f（0.6）=1，f（-0.6）=0。

CNN卷积神经网络

• 卷积层Convolution layer：

假设一个彩色图片的数据集为32*32*（红+绿+蓝）即32*32*3：

卷积的含义可以理解为回旋叠加两个部分，通常将5x5或者3x3的小块（过滤器，也叫卷积核）作为一个神经元的输入参数，图片上对应大小的局部作为输入并从整个图片上滑过来得到所有局部数据映射后组成的激活图，可称为回旋，对于32x32的图片进行这样的操作需要28*28个神经元；使用多个（上图为2个）不同滤波器得到激活图，可称为叠加。即通常假设3x3的数据库可以作为一个判别单元。

btw，为什么要这样做呢？我们生活中判断某张图片是什么，是从图片的局部特征来判断的，比图我们看到一张图片中有大象鼻子这个特征那么我们可以判断其为大象，但是我们是怎么知道“象鼻”是象鼻呢，答案是经验。我们回想一下机器学习的定义：利用经验E来来提升在任务T中的性能P。这就和我们的认知过程很类似了。同一个类别的图片可能有很大差异，计算机很难去归类，但是其局部特征却可能有很多相似的地方，根据所有局部特征和各个类别的符合度就可以做出较为有效的分类。提取局部特征并尝试将所有局部特征组合成许多更具有类别代表性的激活图，这就是卷积过程要做的事情。

为什么要使用多个滤波器呢，因为我们不知道得到的激活图是否按照有效的抽象过程去提取特征，使用多个滤波器我们可以利用权重参数w和b来尝试在提取过程中得到不同的具有代表性的特征组来进行训练，在训练过程具有积极意义的特征组在在后续的处理过程通过放大w权重可以扩大其对结果的影响，提高识别率。（如上图）

那为什么一般第一层卷积的滤波器在6个左右而不是更多呢？那是因为避免在卷积的时候过快的损失数据信息，特征提取程度很小，激活图之间的差异空间也相对较小，但是这时候的“局部”仍然很大，很难判断是否对分类结果是否具有积极意义，因此通常的做法是增加网络的深度，进行多次局部特征提取，使得局部面积越小而数量越多。通过多次卷积操作，激活图变得小而多，此时将全部激活图和label进行映射，即全连接层的操作，进行训练，即可知道哪一个子激活图更为有效（权值w越大），从而得到上一级应当w组的值。

• 局部连接：
  每个激活图后续的卷积和池化（汇聚）操作和其他激活图无关，和一般的神经网络后一层的神经元与前一层神经元全部连接不同，称为局部连接。

• 共享参数:
  一个过滤器从图片滑过抓取局部单元特征的过程使用的参数是一样的，即一个激活图上的所有神经元的参数是一致的。

• 池化层Pooling layer（也称汇聚层）：

说实话，叫汇聚层比较容易理解吧，就是把相对无用的信息去掉，也就相对的汇聚了有用的信息。例如上图中将图片信息分为四块，只保留每块中最大的数值，叫最大池化（最大值汇聚法），还有一种去平均值的叫平均池化（平均值汇聚大法：））。

• 卷基层和池化层（汇聚层）的差异
  卷积层是通过局部映射来缩小图片，可以理解为按照一定抽象分类方向进行，有时候为了得到更多可计算的类别，甚至使用1x1的过滤器来进行，而池化层（汇聚层）是通过保留或去除相关数据来达到使某个局部的信息块缩小，有利于通过更为显著的特征来产生激活图。

涉及的计算：超参数

卷积层：

池化层

S表示滑块的起点距离上一个起点的单位，即滑过的距离。

另外：图片一般为正方形，且最好可以被滑块”滑完”，如果不能则在周边填0。