【动手学深度学习】26 网络中的网络 NiN

最新推荐文章于 2024-10-05 19:19:55 发布

ShadoooWM

最新推荐文章于 2024-10-05 19:19:55 发布

阅读量301

点赞数

分类专栏：动手学深度学习课堂笔记文章标签：深度学习网络人工智能

本文链接：https://blog.csdn.net/qq_21506765/article/details/126598576

版权

动手学深度学习课堂笔记专栏收录该内容

10 篇文章 0 订阅

订阅专栏

1、全连接层的问题

卷积层需要较少的参数
但是卷积层后的第一个全连接层的参数

参数过多带来的问题：

会占用很多内存
容易过拟合

2、NiN块

在这里插入图片描述

两个1X1的卷积层代替全连接，1x1可以看作是全连接层

3、NiN架构

在这里插入图片描述

4、总结

在这里插入图片描述

5、实现NiN

import torch
from torch import nn
from d2l import torch as d2l

def nin_block(in_channels, out_channels, kernel_size, strides, padding):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
        nn.ReLU(), nn.Conv2d(out_channels, out_channels, kernel_size=1),
        nn.ReLU(), nn.Conv2d(out_channels, out_channels, kernel_size=1),
        nn.ReLU())
net = nn.Sequential(
    nin_block(1, 96, kernel_size=11, strides=4, padding=0),
    nn.MaxPool2d(3, stride=2),
    nin_block(96, 256, kernel_size=5, strides=1, padding=2),
    nn.MaxPool2d(3, stride=2),
    nin_block(256, 384, kernel_size=3, strides=1, padding=1),
    nn.MaxPool2d(3, stride=2), nn.Dropout(0.5),
    nin_block(384, 10, kernel_size=3, strides=1, padding=1),
    nn.AdaptiveAvgPool2d((1, 1)),
    nn.Flatten())
 #开始训练
lr, num_epochs, batch_size = 0.1, 10, 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())