自学神经网络总结11

写作动机

第一篇主要从数学建模的角度总结了近期自学神经网络的成果，但纸上得来终觉浅，不通过代码实现一遍很多东西终究只是空中楼阁。所以本篇总结主要从代码角度回顾总结自学成果。

尽量做到每日一次总结。

行文思路

仿照鱼书的风格，先给出计算图，再一步一步根据计算图搭建代码。

使用框架

因为笔者是一名医学生，所以选择现有的框架——pytorch进行代码的实现。

参考书籍

《动手学深度学习2.0》

2024/3/5——ResNet

残差网络的核心思想是：每个附加层都应该更容易地包含原始函数作为其元素之一。

同时加入批量规范化层。

确定模型

Fashion-MNIST。

计算图

Residual块（两种，第二种加入1×1的卷积层是为了调整输出通道数）：

ResNet-18：

代码实现

import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

ResNet块：

class Residual(nn.Module):
	def __init__(self, input_channels, num_channels, use_1x1conv=False, strides=1):
        super().__init__()
        self.conv1 = nn.Conv2d(input_channels, num_channels, kernel_size=3, padding=1, stride=strides)
        self.conv2 = nn.Conv2d(num_channels, num_channels, kernel_size=3, padding=1)
        if use_1x1conv:
            self.conv3 = nn.Conv2d(input_channels, num_channels, kernel_size=1, stride=strides)
        else:
            self.conv3 = None
        self.bn1 = nn.BatchNorm2d(num_channels)
        self.bn2 = nn.BatchNorm2d(num_channels)

    def forward(self, X):
        Y = F.relu(self.bn1(self.conv1(X)))
        Y = self.bn2(self.conv2(Y))
        if self.conv3:
            X = self.conv3(X)
        Y += X
        return F.relu(Y)

ResNet网络：

因为ResNet块要用很多次，所以先定义函数来简便操作：

def resnet_block(input_channels, num_channels, num_residuals, first_block=False):
    blk = []
    for i in range(num_residuals):
        if i == 0 and not first_block:
            blk.append(Residual(input_channels, num_channels, use_1x1conv=True, strides=2))
        else:
            blk.append(Residual(num_channels, num_channels))
    return blk

接着搭建网络：

ResNet = nn.Sequential(
	nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3),
    nn.BatchNorm2d(64), 
    nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2, padding=1),
	*resnet_block(64, 64, 2, first_block=True),
	*resnet_block(64, 128, 2),
	*resnet_block(128, 256, 2),
	*resnet_block(256, 512, 2),
	nn.AdaptiveAvgPool2d((1,1)),
    nn.Flatten(), 
    nn.Linear(512, 10)
	)

应用

先确定输入和输出：

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=96)

万事俱备，只欠数据：

lr = 0.05
num_epochs = 10
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

结果是：