2.8.NiN

lsslcj

于 2024-07-27 21:50:57 发布

阅读量214

点赞数 1

分类专栏： ai相关文章标签：深度学习人工智能神经网络 pytorch

本文链接：https://blog.csdn.net/shiki217_/article/details/140741912

版权

ai相关专栏收录该内容

21 篇文章 1 订阅

订阅专栏

NiN

相较而言，卷积层需要较少的参数 $c_i\times c_0 \times k^2$ ，但卷积层后的第一个全连接层的参数会非常大 $c_i\times c_o\times k^2 \times 全连接层数$ ，那么可以考虑不适用全连接层，而在每个像素的通道上分别使用多层感知机

1.NiN块

一个卷积层后跟两个全连接层：步幅1，无填充，输出形状跟卷积层输出一样，起到全连接层

在这里插入图片描述

2.NiN架构

即无全连接层，交替使用NiN块和步幅为2的最大池化层，逐步减小高宽和增大通道数

最后使用全局平均池化层得到输出，其输入通道数是类别数

NiN块使用卷积层加两个1*1卷积层，后者对每个像素增加了非线性性

NiN使用全局平均池化层来替代VGG和AlexNet中的全连接层，不容易过拟合。

3.代码实现

import torch
from torch import nn
from d2l import torch as d2l


def nin_block(in_channels, out_channels, kernel_size, strides, padding):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
        nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU())


net = nn.Sequential(
    nin_block(1, 96, kernel_size=11, strides=4, padding=0),
    nn.MaxPool2d(3, stride=2),
    nin_block(96, 256, kernel_size=5, strides=1, padding=2),
    nn.MaxPool2d(3, stride=2),
    nin_block(256, 384, kernel_size=3, strides=1, padding=1),
    nn.MaxPool2d(3, stride=2),
    nn.Dropout(0.5),  # 避免过拟合
    # 标签类别数是10
    nin_block(384, 10, kernel_size=3, strides=1, padding=1),
    nn.AdaptiveAvgPool2d((1, 1)),  # 高宽都变为1
    # 将四维的输出转成二维的输出，其形状为(批量大小,10)
    nn.Flatten())

X = torch.rand(size=(1, 1, 224, 224))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__, 'output shape:\t', X.shape)

lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())