神经网络学习(四)----神经网络各层知识的简单总结

**

卷积层

**
卷积后为什么通道数会增加？
答：卷积核的个数，卷积完进行叠加，如下图所示

神经网络卷积层是为了提取特征，但提取的是什么特征？

这个问题我也不太清楚，只能说明自己的拙见，如果有懂的集美，我很乐意你们在评论区给出，互相学习。

个人认为：卷积的特征提取不同于图像角度的特征提取，它更多的是一种卷积运算。卷积的特征提取是针对图像的像素点进行的，例如一张RGB图我们人眼可以很清楚的知道图像的内容，但计算机只知道它是由红、绿、蓝三个通道的像素点叠加而成的。卷积就需要利用卷积核对三个通道的像素点进行卷积运算，不断调整卷积核参数后获取最终的卷积结果，此时即可明白图像所包含的特征。

卷积运算有多种，下面介绍其中一种：

对于这个4×4的图像，我们采用两个2×2的卷积核来计算。设定步长为1，即每次以2*2的固定窗口往右滑动一个单位。

Feature_map尺寸计算公式：[ (原图片尺寸 -卷积核尺寸)/ 步长 ] + 1

接着上面来说，为什么说卷积可以提取到特征？

通过第一个卷积核计算后的feature_map是一个三维数据，在第三列的绝对值最大，说明原始图片上对应的地方有一条垂直方向的特征，即像素数值变化较大；而通过第二个卷积核计算后，第三列的数值为0，第二行的数值绝对值最大，说明原始图片上对应的地方有一条水平方向的特征。

**

感受野

**
在机器视觉领域的深度神经网络中有一个概念叫做感受野，用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。神经元之所以无法对原始图像的所有信息进行感知，是因为在这些网络结构中普遍使用卷积层和pooling层，在层与层之间均为局部相连（通过sliding filter）。神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着他可能蕴含更为全局、语义层次更高的特征；而值越小则表示其所包含的特征越趋向于局部和细节。因此感受野的值可以大致用来判断每一层的抽象层次。

**

网络退化

**
举个例子，假设已经有了一个最优化的网络结构，是18层。当我们设计网络结构的时候，我们并不知道具体多少层次的网络时最优化的网络结构，假设设计了34层网络结构。那么多出来的16层其实是冗余的，我们希望训练网络的过程中，模型能够自己训练这五层为恒等映射，也就是经过这层时的输入与输出完全一样。但是往往模型很难将这16层恒等映射的参数学习正确，那么就一定会不比最优化的18层网络结构性能好，这就是随着网络深度增加，模型会产生退化现象。它不是由过拟合产生的，而是由冗余的网络层学习了不是恒等映射的参数造成的。

网络退化解决：采用残差网络resnet ，简单介绍如下：（F（x）为残差）

注意!!! CNN网络中前几层的卷积层参数量占比小，计算量占比大；而后面的全连接层正好相反，大部分CNN网络都具有这个特点。因此我们在进行计算加速优化时，重点放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层。

**

池化层

**（也叫欠采样或下采样，降低特征维度）

分为最大池化和平均池化，最大池化是求窗口内的最大值，平均池化是求窗口内的平均值。

目的：对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。

**

补零层

**
如果一直添加层导致图片尺寸越来越小，此时加入补零层（Zero Padding）。

**

全连接层

**

连接所有的特征，将输出值送给分类器（常用softmax分类器，计算出分类概率）。

卷积网络的大致结构图：

**

特征融合：

**
很多工作通过融合多层特征来提升检测和分割的性能，按照融合与预测的先后顺序，分类为早融合(Early fusion)和晚融合(Late fusion)。

早融合(Early fusion): 先融合多层的特征，然后在融合后的特征上训练预测器（只在完全融合之后，才统一进行检测）。这类方法也被称为skip connection，即采用concat、add操作。这一思路的代表是Inside-Outside Net(ION)和HyperNet。

两个经典的特征融合方法：
（1）concat：系列特征融合，直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；
（2） add：并行策略，将这两个特征向量组合成复向量，对于输入特征x和y，z = x + iy，其中i是虚数单位。

晚融合(Late fusion)：通过结合不同层的检测结果改进检测性能（尚未完成最终的融合之前，在部分融合的层上就开始进行检测，会有多层的检测，最终将多个检测结果进行融合）。这一类研究思路的代表有两种：
（1）feature不融合，多尺度的feture分别进行预测，然后对预测结果进行综合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
（2）feature进行金字塔融合，融合后进行预测，如Feature Pyramid Network(FPN)等。