Network in Network 学习笔记

前言：

     本论文主要对卷积层（convolution layer）和全连接层（fully connected layer）进行改进。

     并对改进结果用CIFAR-10 ， CIFAR-100 ， SVHN  和 MNIST 四个训练集实验并对比出结果。

一、 卷积层的改进——多层感知卷积器（MLP Convolution Layers）

    GLM（广义线性模型）：传统CNN中的卷积层，其实是用线性滤波器对图像进行内机运算，在每个局部输出后面跟着一个非线性的激活函数，最终得到的叫做特征图（feature maps）

    GLM的抽象能力比较弱。

    抽象：指得到对同一个概念的不同变体保持不变的特征。

     MLP：多层感知器

     优点：

              1、多层感知器（MLP）也是使用BP算法进行训练，和CNN可以进行整合。

              2、多层感知器可以作为一个深层结构，包含了特征重用思想。

    传统CNN特征图计算公式：