NiN网络
全连接层的问题
卷积层需要较少的参数 c i c_i ci× c o c_o co× k 2 k^2 k2。
但卷积层后的第一个全连接层的参数。
NiN块
卷积层:主要用于提取输入数据的特征。在图像处理中,卷积层通过对输入图像(或前一层的特征图)应用一系列的卷积核来工作。每个卷积核在输入数据上滑动,并在每个位置执行元素级乘法后求和(加上一个偏置项),从而生成一个特征图。
全连接层:通常位于卷积神经网络的最后几层,用于对卷积层和池化层提取的特征进行非线性组合,以执行分类、回归等任务。在全连接层中,每个神经元都与前一层的所有神经元相连接。这种连接方式使得全连接层能够学习特征之间的复杂交互。
NiN架构
无全连接层
交替使用NiN块和步幅为2的最大池化层
逐步减少高宽和增大通道数
最后使用全局平均池化层得到输出
其输入通道数是类别数
NiN块使用卷积层加两个1×1卷积层。
后者对每个像素增加了非线性性。
NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层
不容易过拟合,更少的参数个数。
总结
① 在全局平均池化层(GAP)被提出之前,常用的方式是将feature map直接拉平成一维向量,但是GAP不同,是将每个通道的二维图像做平均,最后也就是每个通道对应一个均值。
② 假设卷积层的最后输出是h × w × d 的三维特征图,具体大小为6 × 6 × 3,经过GAP转换后,变成了大小为 1 × 1 × 3 的输出值,也就是每一层 h × w 会被平均化成一个值,如下图所示。
③ GPA优势:
1、抑制过拟合。直接拉平做全连接层的方式依然保留了大量的空间信息,假设feature map是32个通道的10 * 10图像,那么拉平就得到了32 * 10 * 10的向量,如果是最后一层是对应两类标签,那么这一层就需要3200 * 2的权重矩阵,而GAP不同,将空间上的信息直接用均值代替,32个通道GAP之后得到的向量都是32的向量,那么最后一层只需要32 * 2的权重矩阵。相比之下GAP网络参数会更少,而全连接更容易在大量保留下来的空间信息上面过拟合。
2、输入尺寸更加灵活。在第1点的举例里面可以看到feature map经过GAP后的神经网络参数不再与输入图像尺寸的大小有关,也就是输入图像的长宽可以不固定。
网络中的网络(NiN)代码
NiN块
import torch
from torch import nn
from d2l import torch as d2l
def nin_block(in_channels, out_channels, kernel_size, strides, padding):
return nn.Sequential(
# nn.Sequential是一个有序的容器,一个标准的卷积层,接着是两个1x1的卷积层(充当全连接)
nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
nn.ReLU(),
nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU(),
nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU())
NiN模型
基于AlexNet架构
net = nn.Sequential(
# 用的是灰度图,批量大小为1,通道数为96
nin_block(1, 96, kernel_size=11, strides=4, padding=0),
# 使用3x3的窗口进行最大池化,步长为2 (所以是减半)
nn.MaxPool2d(3, stride=2),
nin_block(96, 256, kernel_size=5, strides=1, padding=2),
nn.MaxPool2d(3, stride=2),
nin_block(256, 384, kernel_size=3, strides=1, padding=1),
nn.MaxPool2d(3, stride=2),
nn.Dropout(0.5),
# 标签类别数是10
# 尝试将通道数从384直接减少到10(与类别数相同)
nin_block(384, 10, kernel_size=3, strides=1, padding=1),
# 全局的平均池化层,高宽都变成1
nn.AdaptiveAvgPool2d((1, 1)),
# 将四维的输出转成二维的输出,其形状为(批量大小,10)
nn.Flatten())
查看每个块的输出形状
X = torch.rand(size=(1, 1, 224, 224))
for layer in net:
X = layer(X)
print(layer.__class__.__name__,'output shape:\t', X.shape)
结果:
卷积层的输出尺寸计算:
Sequential( 第一步的计算 ):((224-11)// 4)+ 1 = 53 + 1 = 54
MaxPool2d(第二步的计算):((54-3)// 2)+ 1 = 25 + 1 = 26
下面步骤省略…
训练模型
lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
结果: