阅读论文：1312.ICLR-Network In Network

Network In Network

论文信息：

论文细节：

一般来说，所要提取的特征是高度非线性的，在传统的 CNN 中尝试使用超完备的滤波器来提取各种潜在的特征，具体来说，当需要提取某个抽象特征时，我们初始化大量的滤波器去提取尽可能多的特征，将我们期望的特征也覆盖到。如此产生的结果是网络结构复杂，参数空间过大。作者利用 Mlpconv 和 全局平均 pooling 建立了 Network in Network 网络结构，NIN 的优势主要有下面三点：
更好的局部抽象；
更小的全局Overfitting；
更小的参数空间。

CNN 高层特征其实是低层特征通过某种运算的组合。于是作者就根据这个想法，提出在每个局部感受野中进行更加复杂的运算，提出了对卷积层的改进算法：MLP卷积层。相对传统的卷积层过程，Mlpconv 层可以看成是每个卷积的局部感受野中还包含了一个微型的多层网络。选择多层感知器 MLP 作为微网络结构，作者作出以下两点说明：

MLP 使用 BP 算法训练，与 CNN 高度整合；
MLP 可自行深度化，作为深层结构包含了特征重用的思想。

全局平均 pooling 代替全连接层，优势：
全连接层带来的问题就是参数空间过大，容易过拟合。早期 Alex 采用了Dropout 的方法，来减轻过拟合，提高网络的泛化能力，但依旧无法解决参数过多问题；
全局平均池化更原生的支持于卷积结构，通过加强特征映射与相应分（种）类的对应关系，特征映射可以很容易地解释为分类映射；
全局平均池化一层没有需要优化的参数，减少大量的训练参数有效避免过拟合；
全局平均池化汇总（求和）空间信息，因此其对空间变换是健壮的。

1*1 卷积层：
其对往后的网络设计产生了深远的影响，同期的 VGG 也在网络中用于线性变换，但输入通道数和输出通道数不变，没有发生降维；在 GoogleNet 和 ResNet 上也使用了1*1 卷积层，不仅可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道升维和降维。