Network in Network-文献笔记

摘要：

提出一种新的深度网络结构（NIN）,以增强模型对局部感受野的可辩别性；

构建更复杂的微神经网络（多层感知器）抽象感受野内的数据；

特征图通过与CNN类似的方式在输入上滑动微网络获得，然后传入下一层，这种网络结构称为微网络；

深度NIN通过堆叠多个微网络实现；

在分类层的特征图上采用全部平均池化代替全连接层消除过拟合；

Network In Network 的整体结构。

在本文中，NIN 包括三个 mlpconv 层和一个Global A verage Pooling的堆叠。

Mlpconv

cnn由卷积层与池化层组成 。

卷积层通过使用非线性激活函数的线性组合和产生特征图，计算过程：

 实际应用中，提取的特征都是非线性的，在传统的CNN中，我们提取某个特征时，需要初始化大量的滤波器去提取尽可能多的特征，将我们所期望的特征也覆盖到，但是这么做虽然可能实现我们想要的结果，但是网络结构复杂，参数空间过大，十分耗时。

CNN 高层特征其实是低层特征通过某种运算的组合。于是作者就根据这个想法，提出在每个局部感受野中进行更加复杂的运算，提出了对卷积层的改进算法：MLP卷积层。相对传统的卷积层过程，Mlpconv 层可以看成是每个卷积的局部感受野中还包含了一个微型的多层网络

通过多层的MLP微网络，对每个局部感受野的神经元进行更加复杂的运算，提高非线性。

计算公式：

选择多层感知器作为微网络结构，原因有二：

1、多层感知器与使用反向传播训练的卷积神经网络的结构兼容（论文解释）

      多层感知器也是使用BP算法进行训练的，可以与CNN进行整合（大佬解释）

2、多层感知器本身可以是一个深度模型，这符合特征重用的精神。

从跨通道（跨特征图）池化的角度来看，上面计算公式等效于普通卷积层上的级联跨通道参数池化，等效于一个卷积核为1*1的卷积层。

Global A verage Pooling

 传统的卷积神经网络在网络的较低层执行卷积。对于分类，最后一个卷积层的特征图被矢量化并输入全连接层，然后是 softmax 逻辑回归层。

这种结构将卷积结构与传统的神经网络分类器联系起来。它将卷积层视为特征提取器，并以传统方式对生成的特征进行分类。然而，全连接层容易过拟合，从而阻碍了整个网络的泛化能力。

在本文中，我们提出了另一种称为全局平均池化的策略，以取代 CNN 中传统的全连接层。

想法是在最后一个 mlpconv 层中为分类任务的每个对应类别生成一个特征图。我们没有在特征图之上添加全连接层，而是取每个特征图的平均值，并将结果向量直接馈送到 softmax 层。

优点：

1、Global A verage Pooling通过强制特征图和类别之间的对应关系，更适合卷积结构。

2、在Global A verage Pooling中没有要优化的参数，因此在这一层避免了Overfitting。

3、此外，全局平均池化汇总了空间信息，因此对输入的空间转换更加稳健。

全连接层和Global A verage Pooling结构如下：

NIN优点：

1、更好的局部抽象

2，更小的过拟合

3、更小的参数

参考：

Network in Network-读后笔记 - 简书 (jianshu.com)

(19条消息) Network In Network(精读)_小胜爱捣鼓-CSDN博客