NIN来源论文《Network In Network》读后总结

前言

这是一些对于论文《Network In Network》的简单的读后总结，首先先奉上该文章的下载超链接：NIN

这篇文章是由新加坡国立大学(National University of Singapore, Singapore)综合科学与工程研究生院(Graduate School for Integrative Sciences and Engineering)和电子与计算机工程系(Department of Electronic & Computer Engineering)的人员合作完成的，作者分别是Min Lin、Qiang Chen和Shuicheng Yan。其是NIN的来源文章。该文章通过提出了一种新的特征提取技术(mlpconv)以及使用全局均值池化(global average pooling)代替寻常网络最后的全连接层，在CIFAR-10、CIFAR-100和MNIST数据集上均获得了最优的效果。

文章主要内容与贡献

该文章的贡献为：

1. 设计了mlpconv(multilayer perceptron Convolution)层来代替通常的“卷积+激活函数”层；
2. 用全局均值池化(global average pooling)代替寻常网络最后的全连接层；
3. 设计了NIN(Network In Network)神经网络。

设计了mlpconv(multilayer perceptron Convolution)层来代替通常的“卷积+激活函数”层

下图是线性卷积层和Mlpconv层的对比图：

其中，图(a)是线性卷积层，图(b)是Mlpconv层，线性卷积层包括线性滤波器，而mlpconv层包含微网络(该文章使用的是多层感知器)。这两层都将局部接受域映射为潜在概念的置信度值。

简单来说，就是使用多层感知器代替通常的卷积，mlpconv的特征提取能力强于通常的线性卷积层，因此其可以提取到更优质的特征，从而使得网络的性能更好。

由mlpconv层执行的计算如下：

这里n是多层感知器中的层数。采用整流线性单元(ReLU)作为多层感知器的激活函数。

用全局均值池化(global average pooling)代替寻常网络最后的全连接层

该文章没有在特征映射后添加全连接层，而是取每个特征映射的平均值，并将得到的向量直接输入到Softmax层。全局均值池化相比于全连接层的一个优点是，通过加强特征映射和类别之间的对应，它更适合于卷积结构。因此，特征映射可以很容易地解释为类别信任映射。另一个优点是在全局均值池化中没有优化参数，从而避免了这一层的过度拟合。此外，全局均值池化综合了空间信息，从而对输入的空间平移具有更强的鲁棒性。

全局均值池化是一个结构正则化器，其显式地将特征映射强制为概念(类别)的信任映射。这是由mlpconv层实现的，因为它们比GLM(generalized linear model)更接近置信度图。

设计了NIN(Network In Network)神经网络

NIN的总体结构是由mlpconv层组成的堆栈，其后是全局均值池化和目标成本层。在mlpconv层之间可以添加下采样层，就像在CNN和maxout网络中一样。下图为一个包含三个mlpconv层的NIN：

在每个mlpconv层中，有一个三层感知器。NIN和微网络中的层数都是灵活的，可以根据特定的任务进行调整。

数值实验

CIFAR-10

下图是各种网络的CIFAR-10测试集错误率：

由上可知，NIN有着最低的测试误差。

CIFAR-100

下图是各种网络的CIFAR-10测试集错误率：

由上可知，NIN有着最低的测试误差。

SVHN(Street View House Numbers)

下图是各种网络的SVHN测试集错误率：

由上可知，NIN的性能名列前茅。

MNIST

下图是各种网络的MNIST测试集错误率：

由上可知，NIN的性能优异，以略微劣势仅次于Conv.maxout+Dropout，但MNIST官网上的最低误差为0.23%。