【深度学习】NIN (Network in Network) 网络

Introduction

出自新加坡国立大学2014年的论文 Network In Network 。

该设计后来为 ResNet 和 Inception 等网络模型所借鉴。

Improvement

1. 先前CNN中 简单的 线性卷积层 [蓝框部分]被替换为了 多层感知机（MLP，多层全连接层和非线性函数的组合） [绿框部分]：
   
   优点是：1. 提供了网络层间映射的一种新可能；2. 增加了网络卷积层的非线性能力。

2. 先前CNN中的 全连接层 被替换为了 全局池化层 (global average pooling)：
   
   假设分类任务共有C个类别。
   先前CNN中最后一层为特征图层数共计N的全连接层，要映射到C个类别上；
   改为全局池化层后，最后一层为特征图层数共计C的全局池化层，恰好对应分类任务的C个类别，这样一来，就会有更好的可解释性了。

---

[1] 深度学习: global pooling (全局池化)