深度学习——NiN网络模型（笔记）

网络中的网络（NiN）

1.全连接层的问题：参数多，容易过拟合。

 ①卷积层需要的参数较少

 ②卷积层后第一个全连接层参数对比

参数过多带来的问题：1.占内存 2.占用计算的带宽多3.容易过拟合

2.NiN为了解决全连接层参数过多的问题，NiN的思想是不使用全连接层（使用1*1卷积代替）

①一个卷积层后跟着两个1*1的卷积层

②步幅为1，无填充，输出形状跟卷积层输出一样

③起到全连接层的作用

 

3.NiN的架构

 ①没有全连接层

②交替使用NiN块和步幅为2的最大池化层，逐步减小高宽和增大通道数

③最后使用全局平均池化层得到输出，输出的通道数是类别数。

【总结】

①NiN块使用卷积层加两个1*1卷积层，后者对每个像素增加了非线性

②NiN使用全局平均池化层来代替VGG和AlexNet中的全连接层，不容易过拟合，更少的参数个数。

【代码实现】

import torch
from torch import nn
from d2l import torch as d2l


# 构造NiN块 一个卷积后跟着2个1*1的卷积（相当于全连接层）
def nin_block(in_channels, out_channels, kernel_size, strides, padding):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
        nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU()
    )


# 搭建网络
net = nn.Sequential(
    nin_block(1, 96, kernel_size=11, strides=4, padding=0),
    nn.MaxPool2d(3, stride=2),
    nin_block(96, 256, kernel_size=5, strides=1, padding=2),
    nn.MaxPool2d(3, stride=2),
    nin_block(256, 384, kernel_size=3, strides=1, padding=1),
    nn.MaxPool2d(3, stride=2),
    nn.Dropout(0.5),
    # 标签类别数是10
    nin_block(384, 10, kernel_size=3, strides=1, padding=1),
    nn.AdaptiveAvgPool2d((1, 1)),
    # 将四维的输出转成二维的输出，其形状为(批量大小,10)
    nn.Flatten())

# 训练
lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
d2l.plt.show()