NiN + 代码 + 快问快答

最新推荐文章于 2023-10-24 20:10:16 发布

小白抗小枪

最新推荐文章于 2023-10-24 20:10:16 发布

阅读量438

点赞数

分类专栏：动手学深度学习文章标签： cnn 人工智能神经网络

本文链接：https://blog.csdn.net/qq_60567866/article/details/125367189

版权

动手学深度学习专栏收录该内容

15 篇文章 6 订阅

订阅专栏

该博客介绍了NiN（Network in Network）网络结构，这是一个已不再主流但引入了重要概念的模型。NiN使用全局平均池化层替代全连接层，减少了参数数量，降低了过拟合风险。此外，它还应用了1x1卷积增加非线性性。通过示例代码展示了NiN块的实现，并用Fashion MNIST数据集进行训练。全局平均池化层的关键作用在于简化模型，1x1卷积则增强了模型的表达能力。

摘要由CSDN通过智能技术生成

NiN现在这个网络没人用，但是是有很多新的概念提出

全局平均池化层是我池化层的高宽等于输入的高宽。也就是对每一个通道取一个值出来。

左边的输出是以10个通道结束的，也就是分类是10.

NIN的优点，全都是卷积层，更少的参数，不容易过拟合，使用平均池化来代替全连接。

代码因为NIN和VGG都是很类似的所以说就只写一个。

有nin_block块

import torch
from torch import nn
from d2l import torch as d2l

#输入通道数  输出通道数 ，核的大小，步长，填充
def nin_block(in_channels, out_channels,kernel_size,strides,padding):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels,kernel_size,strides,padding),
            nn.ReLU(),nn.Conv2d(out_channels, out_channels,kernel_size=1),
            nn.ReLU(),nn.Conv2d(out_channels, out_channels,kernel_size=1),
            nn.ReLU()
            )

net = nn.Sequential(
    nin_block(1, 96, kernel_size=11, strides=4, padding=0),
    nn.MaxPool2d(3, stride=2),
    nin_block(96, 256, kernel_size=5, strides=1, padding=2),
    nn.MaxPool2d(3, stride=2),
    nin_block(256, 384, kernel_size=3, strides=1, padding=1),
    nn.MaxPool2d(3, stride=2),
    nn.Dropout(0.5),
    # 标签类别数是10
    nin_block(384, 10, kernel_size=3, strides=1, padding=1),
    nn.AdaptiveAvgPool2d((1, 1)),
    # 将四维的输出转成二维的输出，其形状为(批量大小,10)
    nn.Flatten())


X = torch.rand(size=(1,1,224,224))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)


lr, num_epochs, batch_size = 0.1, 10, 64
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

快问快答：这次没有文字的问题我直接写回答

使用torch script可以将他部署到C++ 详情

最后是有softmax的我们写在了train函数里

Q：全局的平均池化层是不是很关键对于这个网络

A：这是个很好的问题，也是一个很好的思想，我们加入了全局平均池化层压缩了我每个通道的feature，他没有可以学习的参数。这个池化层最重要的就是他降低了模型复杂度。

Q：两个1*1的卷积层对每个像素增加了非线性性

A：1*1的卷积层就是对每一个像素，他对应的呢个通道做了一次全连接。两个1*1的卷积层其实也就是对这个图像，做了两个隐藏层的MLP，MLP都有ReLU函数，所以都增加了非线性性。