本文是关于2014年ICLR论文《Network in Network》的学习笔记，介绍了如何使用1X1卷积层替代传统卷积以引入非线性特征提取，以及全球平均池化层在减少模型复杂性和过拟合方面的优势。NIN网络结构的创新对后续深度学习模型产生了深远影响。
前言
《Network in Network》是2014年ICLR的一篇文章，文章当时较为创新，对后面的一些模型产生了一些较为深远的影响，现在看来，尽管文章较为久远，仍不失为经典论文，对现在的吾辈来说仍值得细细品读学习。
文章亮点
1、用MLP conv代替传统卷积层
NIN这篇论文指出，在常规卷积层后加上若干个1X1的卷积层，每个卷积核视为一个神经元，多个1X1卷积的线性组合就可以看作是一个全连接层。一般卷积操作可以看成特征的提取操作，而一般卷积一层只相当于一个线性操作，所以其只能提取出线性特征。所以该作者就像能否在卷积层后也加入一个MLP使得每层卷积操作能够提取非线性特征。
一般来说假如当前层与下一层都是一个通道，那么1X1卷积核似乎作用不大，但是上下层分别为m层和n层的话，它可以可以起到一个跨通道聚合的作用，降维（或者升维）数据，起到减少参数的目的。 而因为卷积操作本身就可以做到各个通道的重新聚合的作用，所以1×1的卷积核也能达到这个效果。
下面利用几张图来诠释一下1X1卷积层的作用过程：
输入一张feature map，经过两层mlpcon输出一张feautre map
最低0.47元/天 解锁文章
513
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
