李沐动手学视频笔记-26 网络中的网络NiN

卷积层需要的参数量：输入通道*输出通道*卷积核大小

全连接层需要的参数：输入的像素数*全连接层大小

 

LeNet,AlexNet,VGG的问题：卷积后的第一个全连接层参数过大，1.需要很多内存，2.占有很多计算带宽，3.有可能会带来过拟合。

为了解决这个问题，NiN不使用全连接层。

NiN块

一个卷积层和两个1*1的卷积层（充当全连接层）

 

 NiN架构：

1.无全连接层

2.交替使用NiN块和步幅为2的最大池化层，逐步减小高宽和增大通道数

3.最后使用全局平均池化层得到输出。输入通道数是类别数，池化核大小与输入矩阵大小相同（池化不改变通道数）。 

  总结:

1.NiN块使用卷积层加两个1*1卷积层，后者对每个像素增加了非线性性

2.NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层，不容易过拟合，有更少的参数个数