CNN（卷积神经网络）

CNN（卷积神经网络）整理

一般神经网络有三个操作——卷积、池化、全连接，全连接一般在最后一层，保证不管输入的维度如何变化，它的输出是统一的，有3个核心——卷积核、激活函数、池化，常见池化有最大池化、均值池化。

卷积：个人理解为局部的加权求和，卷积核即为同层卷积的权值，感受野（接受域）间参数共享。卷积核移动时有一个步长，也就是步幅stride，一般是1——卷积核在输入上的移动间距是1。

从概念上可知，卷积伴随着“降维”——输出的维度会比输入的维度小（输出维度 = 输入维度 - 卷积核维度 + 1），为了对输出维度进行控制，会有padding填充输入边缘——不填充：有效卷积；填充零满足输入输出同维：相同卷积；还有一个是全卷积。

卷积的层数越高，涵盖的感受野范围越大，想象一个金字塔，顶端是某高层的卷积结果，塔底座就是原始输入的感受野，所以可以用小核多层实现大涵盖，或者合适的核涵盖想要的特征信息

激活函数：一个可导非线性函数，输出在0 到1 之间

池化：不在乎特征位置，只在乎特征是否出现，像放大镜一样，移动放大镜，看到的东西不一样，但是主要的特征还是可以看到。池化也有范围和步长，但没有填充，所以自带降维，且池化没有参数，说可以减少参数个数，进而降低过拟合的可能性。

卷积和池化都自带先验的性质：对于一个输入，卷积提取特征映射，卷积核大小是超参，大的卷积核会忽略小的信息而更注重大面积上的信息，反之也一样；池化是个不注重精确空间位置的操作，对于需要精确特征的数据特征映射，不加池化可能效果更好

3D卷积，或者2D+通道卷积，都可以理解为从多个角度进行卷积，但实质是不同的。

 

CNN架构创新分为7个方面：核（基于空间利用）、层数（深度）、多路径（网络结构跳层连接）、宽度（同层操作数）、特征图利用、通道提升、注意力。

 

                  

batch、epoch、iteration：

batch 是由于数据量庞大，不能一次性全部输入神经网络中进行训练，所以将数据分成多个 batch 进行学习

epoch 在神经网络中，一次向前向后传导（输入、输出）称为一个 epoch，一个epoch 就是数据更新一次，多个batch 时，迭代次数等于batch 的个数乘以epoch的个数

iteration 迭代 在神经网络中，参数更新一次更为一次迭代

2000个样本——> 4个batch，每个batch size 为500，“一个 epoch 中的batch 和 iteration 个数是相同的”，所以一个epoch 会运行多个batch 并迭代。