神经网络系列（四）--NIN 网络结构

深度学习之NIN 网络结构

一、简介

NIN(NetWork In NetWork) 是出自新加坡国立大写2014年的论文"Network In Network",NIN 改进了传统的CNN，采用了少量参数就取得了超过AlexNet的性能，AlexNet网络参数大小是230M，NIN只需要29M，此模型后来先后被Inception与ResNet 等所借鉴。

二、网络结构

此网络结构总计4层： 3mlpconv + 1global_average_pooling

由上图看出，左图为简单的卷积层网络，右图为mlpconv（卷积层 + 1x1 卷积 + ReLu函数组成）

优点：

1. 提供了网络层间映射的一种新可能；
2. 增加了网络卷积层的非线性能力。

最后改为全局池化层，含义为1张特征图转化为1个类别进行输出，如第一张图最后有1000个特征图,最后通过softmax对应1000个不同的类别输出。

三、两个重要特性

特性一 1*1 卷积核

作用：

加强了特征的重新组合；

降低了维度，减少计算量。

如 5x5x126 , 通过1x1x90 的卷积操作后，得到90个特征图，此为下次卷积减少乘积，也就减少了计算量

以GoogLeNet的3a模块为例，输入的feature map是28×28×192，3a模块中1×1卷积通道为64，3×3卷积通道为128,5×5卷积通道为32，如果是左图结构，那么卷积核参数为1×1×192×64+3×3×192×128+5×5×192×32，而右图对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层，这样卷积核参数就变成了1×1×192×64+（1×1×192×96+3×3×96×128）+（1×1×192×16+5×5×16×32），参数大约减少到原来的三分之一。

特性二 全局池化层 （如上图）

大大的减少了模型的参数，由于该连接方式没有参数，从而没有计算，大大减少了计算量，提高了计算速度。

有效避免过拟合。

可解释性非常强，可以讲最终的feature map看作最终分类目标的confidence map。

四、总结

1. NIN网络是inception的前身，提供了减少训练数量的思想，提高了运算的速度。
2. 有效避免了过拟合。

附录：

NIN模型结构全解析

1x1 卷积核意义

Network in Network网络分析