NIN

googlenet网络结构设计很大程度上借鉴了2014年 ICLR 的paper，Network In Network（以下简称 NIN ）。这篇 paper 改进了传统的CNN 网络，采用了少量参数进一步提高了 CIFAR-10、CIFAR-100 等数据集上的准确率，其提出的网络结构是对传统CNN 网络的改进：

• 多层感知卷积层（Mlpconv Layer）：使用 Conv+MLP 代替传统卷积层，增强网络提取抽象特征和泛化的能力；
• 全局平均池化层（Global Average
  Pooling）：使用平均池化代替全连接层，很大程度上减少参数空间，便于加深网络和训练，有效防止过拟合。

提出原因

CNN 一般由卷积层与池化层以栈的形式交替组成，卷积层通过使用非线性激活函数（如：ReLu）的线性组合产生特征图。
好的抽象表示一般是高度非线性函数。在传统cnn，这一点可以用超完备过滤的方式。即：增加过滤器，但增加过滤器会增加下层的计算负担即。网络结构复杂，参数空间过大。
事实上，CNN 高层特征其实是低层特征通过某种运算的组合。于是作者就根据这个想法，提出在每个局部感受野中进行更加复杂的运算，提出了对卷积层的改进算法：MLP卷积层。

MLP

作者认为，在不知道潜在目标的先验分布时使用通用近似函数是比较好的方法。作者选择MLP，其原因是：

1 MLP 使用 BP 算法训练，与 CNN 高度整合；

2 MLP 可自行深度化，作为深层结构包含了特征重用的思想。

相对传统的卷积层过程，Mlpconv 层可以看成是每个卷积的局部感受野中还包含了一个微型的多层网络：

NIN 级联的跨特征图（Feature Map）整合过程，可以使得网络学习到复杂和有用的跨特征图特征，细看 NIN 的 caffe 实现，在每个传统卷积层后面接了两个 cccp 层（cascaded cross channel parametric pooling），实际上为两个1×1的卷积层，因此跨通道的参数化感知层等效于一个卷积核为1*1 的卷积层：
这里采用 1*1 卷积层 作为 MLP 对卷积后的 Feature Map 进行跨通道信息整合，然后 ReLu，最后 Maxpooling。

文中将MLP与Maxout对比，下图说明一般CNN、Maxout、MLP计算过程：

• maxout，有k个的3x3的w（这里的k是自由设定的），分别卷积得到k个1x1的输出，然后对这k个输入求最大值
• NIN，有k个3x3的w（这里的k也是自由设定的），分别卷积得到k个1x1的输出，然后对它们都进行relu，然后再次对它们进行卷积，结果再relu。（这个过程，等效于一个小型的全连接网络）

maxout和NIN都是对传统conv+relu的改进。

maxout想表明它能够拟合任何凸函数，也就能够拟合任何的激活函数（默认了激活函数都是凸的）

NIN想表明它不仅能够拟合任何凸函数，而且能够拟合任何函数，因为它本质上可以说是一个小型的全连接神经网络。

1*1 卷积层 对往后的网络设计产生了深远的影响，同期的 VGG 也在网络中用于线性变换，但输入通道数和输出通道数不变，没有发生降维；在 GoogleNet 和 ResNet 上也使用了1*1 卷积层，不仅可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道升维和降维。

Global everage pooling

与传统的全连接层不同，对每个特征图一整张图片进行全局均值池化，这样每张特征图都可以得到一个输出。
这个想法是为最后一个mlpconv层的分类任务的每个对应类别生成一个特征映射。 我们不是在特征图顶部添加完全连接的图层，而是使用每个特征图的平均值，并将生成的矢量直接输入到softmax图层。

这样采用均值池化，去除了构建全连接层的大量参数，大大减小网络规模，有效避免过拟合；另一方面的重要意义是，每张特征图相当于一个输出特征。

1 全局平均池化更原生的支持于卷积结构，通过加强特征映射与相应分（种）类的对应关系，特征映射可以很容易地解释为分类映射；
2 全局平均池化一层没有需要优化的参数，减少大量的训练参数有效避免过拟合；
3 全局平均池化汇总（求和）空间信息，因此其对空间变换是健壮的。

reference

http://blog.csdn.net/diamonjoy_zone/article/details/70229148
https://www.cnblogs.com/yinheyi/p/6978223.html
https://www.jianshu.com/p/96791a306ea5
[Maxout]