Network In Network 总结

本文是对《Network In Network》的论文解读和总结。该论文发表于 ICLR 2014，由新加坡国立大学（NUS）提出，自2014年发表至今，已有接近2K的引用量，其独特的网络结构成为卷积神经网络的革新，是经典的卷积神经网络的一个变种。

注：博文中部分图片表格来自原文

1. 网络结构

1.1 MLP卷积层

NIN 具体在传统的卷积层上采用了大小为[1,1]的卷积核去替代，相当于进行了一次初级范围的全连接提取，从而加强了线性特征，达到更高的的抽象，泛化能力更强。这种大小为[1,1]的卷积核连接在传统卷积层后的方式称为 mlpconv，又称为 cccp 层。如下图所示，mlp 代替了传统的卷积核从而提高了特征提取度，并且实现了跨通道的信息连接，从而实现多个特征平面上的信息整合。

1.2 全局均值池化

NIN 模型取消了最后进行分类的全连接层，采用的是全局池化层（Global Average Pooling）来取代最后的全连接层，因为全连接层参数多而且易过拟合。做法即移除全连接层，在最后一层的后面加一层 Average Pooling 层来进行模型的最终分类，能够使得具有一定相关性的不同通道信息聚集在一起，通过这些聚类实现的单元去区分图像，另一方面它有一个特点，每张特征图相当于一个输出特征，然后这个特征就表示了我们输出类的特征。这样如果我们在做1000个分类任务的时候，我们网络在设计的时候，最后一层的特征图个数就要选择1000。这样做的好处能够极大地减少最终的权重数据。

2. 1x1 卷积的作用总结

1. 实现跨通道的交互和信息整合；
2. 进行卷积核通道数的降维和升维。