CNN基础

      卷积神经网络是一种层次模型，其输入是原始数据，如 RGB图像、原始音频数据等。卷积神经网络通过卷积操作、汇合（pooling）操作和非线性激活函数映射等一系列操作的层层堆叠，将高层语义信息逐层由原始数据输入层中抽取出来，逐层抽象，这一过程便是“前馈运算”。其中，不同类型操作在卷积神经网络中一般称作“层”：卷积操作对应“卷积层”，汇合操作对应“汇合层”等等。最终，卷积神经网络的最后一层将其目标任务（分类、回归等）形式化为目标函数 。通过计算预测值与真实值之间的误差或损失，凭借反向传播算法将误差或损失由最后一层逐层向前反馈，更新每层参数，并再次前馈，如此反复，直至网络收敛。

1.卷积层：

        卷积层是卷积神经网络中的基础操作，假设输入图像（输入数据）为 5×5 矩阵，其对应的卷积核（亦称卷积参数）为一个 3 × 3 的矩阵。同时，假定卷积操作时每做一次卷积，卷积核移动一个像素位置，即卷积步长（stride）为 1。第一次卷积操作从图像 (0,0) 像素开始，由卷积核中参数与对应位置图像像素逐位相乘后累加作为一次卷积操作结果。类似地，卷积核按照步长大小在输入图像上从左至右自上而下依次将卷积操作进行下去，最终输出 3 × 3 大小的卷积特征，同时该结果将作为下一层操作的输入。

       需指出的是，学习到的卷积参数对不同位置的所有输入都是相同的，这便是卷积层“权值共享”特性。除此之外，通常还会度卷积结果加入偏置项。在误差反向传播时可针对该层权重和偏置项分别设置随机梯度下降的学习率。当然根据实际问题需要，也可以将某层偏置项设置为全0，或将学习率设置为0，以起到固定该层偏置或权重的作用。

       卷积是一种局部操作，通过一定大小的卷积核作用于局部图像区域获得图像的局部信息，卷积操作中有两个重要的超参数卷积核大小（filter size）和卷积步长（stride）。

2.汇聚层：

       汇合操作为平均值汇合（average-pooling）和最大值汇合（max-pooling），需要指出的是，同卷积层操作不同，汇合层不包含需要学习的参数。使用时仅需指定汇合类型、汇合操作的核大小和汇合操作的步长等超参数即可。

       汇合操作后的结果相比其输入降小了，其实汇合操作实际上就是一种“降采样”操作。另一方面，汇合也看成是一个用 p范数作为非线性映射的“卷积”操作，特别的，当 p 趋近正无穷时就是最常见的最大值汇合。汇合层的引入是仿照人的视觉系统对视觉输入对象进行降维（降采样）和抽象。在卷积神经网络过去的工作中，研究者普遍认为汇合层有如下三种功效&