Network in Network

这篇文章感觉相当重要，在GoogLeNet里被多次提及。而且它是基于最基本的CNN进行优化，有一定的普适性。

两个重要特点

• mlpconv layer
  优点：能够提升 abstraction level，就是说辨识不同数据之间相同实质的能力，说白了就是非线性部分增多了，当然更符合实际。
  
• global average pooling
  把FC改成了：将feature map求均值，然后放入softmax最后输出。按照文章的说法这样比FC更interpretable。同时，还能避免overfitting

details

下图是整体结构

1. universal function approximator
radial basis network和multilayer perceptron是两个常用的universal function approximator，选择后者有两个原因，一是它和CNN相契合，可以用反向传播算法来训练；二是它本身也是个深度模型，包含了特征重用的思想。
2. MLP convolution layer

文章还提到在跨通道情况(cross feature map)下，mlpconv等价于卷积层+1*1卷积层，此时的mlpconv也叫(cascaded cross channel parametric pooling)
3. global average pooling

we take the average of each feature map, and the resulting vector is fed
directly into the softmax layer

读后感

文章不长，但影响深远。比如里面提到的1*1卷积层，在后来著名的GoogLeNet和ResNet都采用了，不仅可以跨通道组织信息，而且可以进行升降维。