网络中的网络（NiN）

最新推荐文章于 2024-11-13 22:18:25 发布

我是小水水啊

最新推荐文章于 2024-11-13 22:18:25 发布

阅读量363

点赞数 8

分类专栏：深度学习文章标签：网络

本文链接：https://blog.csdn.net/don_t_always_ail/article/details/137244772

版权

深度学习专栏收录该内容

15 篇文章 0 订阅

订阅专栏

本文介绍了NiN块的概念，即在每个像素位置应用全连接层，相当于1x1卷积，用于调整通道数、保持空间信息。文章详细描述了一个包含多个NiN块的网络结构，包括最大池化、Dropout和AdaptiveAvgPool2d等组件。

摘要由CSDN通过智能技术生成

文章目录

NiN块

NiN块

NiN的想法是在每个像素位置（针对每个高度和宽度）应用一个全连接层。果我们将权重连接到每个空间位置，我们可以将其视为1x1卷积层，或作为在每个像素位置上独立作用的全连接层。从另一个角度看，即将空间维度中的每个像素视为单个样本，将通道维度视为不同特征。

在这里插入图片描述
其卷积核的大小为1×1。这种卷积层的主要作用是改变输入特征图的通道数，同时保留空间信息不变。1×1卷积层在网络中通常用于增加或减少通道数、调整网络的深度、以及进行特征融合或分离。

def nin_block(in_channels, out_channels, kernel_size, strides, padding):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
        nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1), nn.ReLU())



net = nn.Sequential(
    nin_block(1, 96, kernel_size=11, strides=4, padding=0),
    nn.MaxPool2d(3, stride=2),
    nin_block(96, 256, kernel_size=5, strides=1, padding=2),
    nn.MaxPool2d(3, stride=2),
    nin_block(256, 384, kernel_size=3, strides=1, padding=1),
    nn.MaxPool2d(3, stride=2),
    nn.Dropout(0.5),
    # 标签类别数是10
    nin_block(384, 10, kernel_size=3, strides=1, padding=1),
    nn.AdaptiveAvgPool2d((1, 1)),
    # 将四维的输出转成二维的输出，其形状为(批量大小,10)
    nn.Flatten())