深度学习---------------------网络中的网络NiN

NiN网络

全连接层的问题

卷积层需要较少的参数$c_i$×$c_o$×$k^2$。

但卷积层后的第一个全连接层的参数。

---

NiN块

卷积层：主要用于提取输入数据的特征。在图像处理中，卷积层通过对输入图像（或前一层的特征图）应用一系列的卷积核来工作。每个卷积核在输入数据上滑动，并在每个位置执行元素级乘法后求和（加上一个偏置项），从而生成一个特征图。

全连接层：通常位于卷积神经网络的最后几层，用于对卷积层和池化层提取的特征进行非线性组合，以执行分类、回归等任务。在全连接层中，每个神经元都与前一层的所有神经元相连接。这种连接方式使得全连接层能够学习特征之间的复杂交互。

---

NiN架构

无全连接层
交替使用NiN块和步幅为2的最大池化层
    逐步减少高宽和增大通道数
最后使用全局平均池化层得到输出
    其输入通道数是类别数

NiN块使用卷积层加两个1×1卷积层。
    后者对每个像素增加了非线性性。
NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层
    不容易过拟合，更少的参数个数。

---

总结

① 在全局平均池化层（GAP）被提出之前，常用的方式是将feature map直接拉平成一维向量，但是GAP不同，是将每个通道的二维图像做平均，最后也就是每个通道对应一个均值。

② 假设卷积层的最后输出是h × w × d 的三维特征图，具体大小为6 × 6 × 3，经过GAP转换后，变成了大小为 1 × 1 × 3 的输出值，也就是每一层 h × w 会被平均化成一个值，如下图所示。

③ GPA优势：

    1、抑制过拟合。直接拉平做全连接层的方式依然保留了大量的空间信息，假设feature map是32个通道的10 * 10图像，那么拉平就得到了32 * 10 * 10的向量，如果是最后一层是对应两类标签，那么这一层就需要3200 * 2的权重矩阵，而GAP不同，将空间上的信息直接用均值代替，32个通道GAP之后得到的向量都是32的向量，那么最后一层只需要32 * 2的权重矩阵。相比之下GAP网络参数会更少，而全连接更容易在大量保留下来的空间信息上面过拟合。
    2、输入尺寸更加灵活。在第1点的举例里面可以看到feature map经过GAP后的神经网络参数不再与输入图像尺寸的大小有关，也就是输入图像的长宽可以不固定。

---

网络中的网络（NiN）代码

NiN块

import torch
from torch import nn
from d2l import torch as d2l
 
 
def nin_block(in_channels, out_channels, kernel_size, strides, padding):
    return nn.Sequential(
    	# nn.Sequential是一个有序的容器，一个标准的卷积层，接着是两个1x1的卷积层（充当全连接）
        nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
        nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU())

NiN模型

基于AlexNet架构

net = nn.Sequential(
	# 用的是灰度图，批量大小为1，通道数为96 
    nin_block(1, 96, kernel_size=11, strides=4, padding=0),
    # 使用3x3的窗口进行最大池化，步长为2  （所以是减半）
    nn.MaxPool2d(3, stride=2),
    nin_block(96, 256, kernel_size=5, strides=1, padding=2),
    nn.MaxPool2d(3, stride=2),
    nin_block(256, 384, kernel_size=3, strides=1, padding=1),
    nn.MaxPool2d(3, stride=2),
    nn.Dropout(0.5),
    # 标签类别数是10
    # 尝试将通道数从384直接减少到10（与类别数相同） 
    nin_block(384, 10, kernel_size=3, strides=1, padding=1),
    # 全局的平均池化层，高宽都变成1
    nn.AdaptiveAvgPool2d((1, 1)),
    # 将四维的输出转成二维的输出，其形状为(批量大小,10)
    nn.Flatten())

查看每个块的输出形状

X = torch.rand(size=(1, 1, 224, 224))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t', X.shape)

结果：

卷积层的输出尺寸计算：

Sequential（ 第一步的计算 ）：（（224-11）// 4）+ 1 = 53 + 1 = 54

MaxPool2d（第二步的计算）：（（54-3）// 2）+ 1 = 25 + 1 = 26

下面步骤省略…

---

训练模型

lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

结果：