深度学习网络篇——NIN(Network in Network)

正式开讲之前，首先跪舔一下：这篇论文真的是条理清楚思路清晰，可读性贼强，建议读下原文学习一下！
让我们怀着崇敬的心先来看看论文的作者：
木
有
图
木
有
图
Min Lin, Qiang Chen, Shuicheng Yan
（别看了，就是没有图，略略略，啊哈哈哈哈哈哈~）

先说说这篇论文的创新点。这篇论文有两个创新点，一是MLPconv，二是全局平均池化，这两个创新点也就是这篇论文主要在讲**（chui） **的东西，所以接下来讲的主要就围绕这两个点展开。

MLPconv

1、什么是MLP？
Multi Layer Perceptron(MLP)，即多层感知机，由感知机（PLA）推广而来，简单来说就是我们接触的经典的深度神经网络，是由输入层、隐层、输出层构成的网络。
2、为什么用MLP？
(1) 传统CNN由卷积层和池化层交替组成，卷积核是输入样本的广义线性模型（GLM），抽象程度比较低。当样本的隐含概念线性可分时，广义线性模型能达到很好的抽象程度。所以呢，传统的CNN是建立在认为隐含概念（latent concept，就是从图像中抽取出来的特征）是线性可分的假设上的，但是这个假设比较理想主义，实际情况中大多隐含概念都是线性不可分的，所以这时候GLM就悲剧了，但是事情还没结束，GLM感觉自己还能再抢救一下，就发现了可以通过疯狂_增加滤波器（卷积核）的数量_来cover各个方面的隐含概念，然后在下一层卷积的时候把这些隐含概念结合起来，然后再继续抽象更多的隐含概念，那么动动我们的小脑瓜就能发现，GLM为了能尽量全面的cover到所有隐含概念就只能疯狂增加每一层神经元的数量，这就导致产生了很多冗余的参数，同时，使用太多滤波器也给下一层带来了很大的负担，需要考虑来自前一层的所有变化的组合，来自更高层的滤波器会映射到原始输入的更大区域，因此，我们认为在每一个局部块结合生成更高级概念之前就作出更好的抽象是更有益的。
(2) Maxout：跟普通激活函数的不同在于加入了一些神经元来输出最大的激活值，以此来减少Feature map的数量，线性函数的最大化使分段线性逼近器能逼近任何凸函数，但是maxout也有前提：隐含概念位于输入空间的凸集内——同样的，理想很丰满现实很骨感，这个前提在实际中也很难满足。
(3) 综上所述，我们需要一个更通用的函数逼近器，在隐含概念处于更复杂的分布时也依然能用。所以此时mlpconv站出来了ÿ