26/76-NiN

NiN块：一个卷积层后跟两个全连接层。

步幅为1，无填充，输出形状跟卷积层输出一样。起到全连接层的作用。

NiN架构

无全连接层。
交替使用NiN块和步幅为2的最大池化层，逐步减小高宽和增大通道数。
最后使用去全局平均池化层得到输出，其输入通道数是类别数。再使用softmax变为概率输出。

总结

NiN块使用卷积层加两个1×1卷积层，后者对每个像素增加了非线性性。
NiN使用全局平均池化层来代替VGG和AlexNet中的全连接层。不容易过拟合，更少的参数个数。

全连接层计算量大，输入×输出

效果十分不好

import torch
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
from d2l import torch as d2l
from torch import nn
import matplotlib.pyplot as plt
def nin_block(in_channels, out_channels, kernel_size, stride, padding):
    blk = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding),nn.ReLU(),
                        nn.Conv2d(out_channels, out_channels, kernel_size=1),nn.ReLU(),
                        nn.Conv2d(out_channels, out_channels, kernel_size=1),nn.ReLU())#默认步幅为1，填充为0
    return blk


net = nn.Sequential(
    nin_block(1, 96, kernel_size=11, stride=4, padding=0),#灰度图，第一层与AlexNet一样
    nn.MaxPool2d(kernel_size=3, stride=2),
    nin_block(96, 256, kernel_size=5, stride=1, padding=2),
    nn.MaxPool2d(kernel_size=3, stride=2),
    nin_block(256, 384, kernel_size=3, stride=1, padding=1),
    nn.MaxPool2d(kernel_size=3, stride=2),
    nn.Dropout(0.5),
    # 标签类别数是10
    nin_block(384, 10, kernel_size=3, stride=1, padding=1),#10类，就降为10，后续改为对应分类数
    nn.AdaptiveAvgPool2d((1,1)),#全局平均池化层
    # 将四维的输出转成二维的输出，其形状为(批量大小, 10)
    nn.Flatten())#将4D变为一维

X=torch.randn(size=(1,1,224,224))
for blk in net:
    X=blk(X)
    print(blk.__class__.__name__,'output shape:\t',X.shape)


lr,num_epochs,batch_size=0.1,10,128
train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size,resize=224)
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu(0))
plt.show()

#17:29开始，17：38结束loss 1.499, train acc 0.402, test acc 0.406
#1329.4 examples/sec on cuda:0效果非常不好,第二次竟然将为0.100，，，