自学神经网络总结12

写作动机

第一篇主要从数学建模的角度总结了近期自学神经网络的成果，但纸上得来终觉浅，不通过代码实现一遍很多东西终究只是空中楼阁。所以本篇总结主要从代码角度回顾总结自学成果。

尽量做到每日一次总结。

行文思路

仿照鱼书的风格，先给出计算图，再一步一步根据计算图搭建代码。

使用框架

因为笔者是一名医学生，所以选择现有的框架——pytorch进行代码的实现。

参考书籍

《动手学深度学习2.0》

2024/3/6——DenseNet

首先，我们知道，任意函数可以通过泰勒展开来用变量的高阶项求和来拟合。

然后，ResNet本质上就是把函数展开为了变量的一阶项与另一个新函数求和。

接着，对ResNet展开得到的新函数继续展开，就是DenseNet要做的事。

确定模型

Fashion-MNIST。

计算图

代码实现

import torch
from torch import nn
from d2l import torch as d2l

先定义一个小块，方便构建后续大块：

def conv_block(input_channels, num_channels):
    return nn.Sequential(
        nn.BatchNorm2d(input_channels), 
        nn.ReLU(),
        nn.Conv2d(input_channels, num_channels, kernel_size=3, padding=1)
        )

再构建大块：

class Dense_BLOCK(nn.Module):
	def __init__(self, num_convs, input_channels, num_channels):
		super(Dense_Block, self).__init__()
		layer = []
		for i in range(num_convs):
			layer.append(conv_block(num_channels * i + input_channels, num_channels))
		self.net = nn.Sequential(*layer)
	def forward(self, X):
		for block in self.net:
			Y = block(X)
			X = torch.cat((X,Y), dim=1)
		return X

然后专门构建块来降低通道数：

def Trans_BLOCK(input_channels, num_channels):
    return nn.Sequential(
        nn.BatchNorm2d(input_channels), 
        nn.ReLU(),
        nn.Conv2d(input_channels, num_channels, kernel_size=1),
        nn.AvgPool2d(kernel_size=2, stride=2))

接下来构建网络：

因为中间的稠密块涉及到数字的迭代，一个一个打过于复杂逆天，所以先单独构造出来：

blocks = []

num_channels = 64
growth_rate = 32
num_convs_in_dense_blocks = [4, 4, 4, 4]
for i, num_convs in enumerate(num_convs_in_dense_blocks):

    blks.append(DenseBlock(num_convs, num_channels, growth_rate))
    num_channels += num_convs * growth_rate
    
    if i != len(num_convs_in_dense_blocks) - 1:
        blks.append(transition_block(num_channels, num_channels // 2))
        num_channels = num_channels // 2

然后再是Dense_Net：

Dense_Net = nn.Sequential(
	nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3),
	nn.BatchNorm2d(64),
	nn.ReLU(),
	nn.MaxPool2d(kernel_size=3, stride=2, padding=1),
	*blocks
	nn.BatchNorm2d(num_channels),
	nn.ReLU(),
	nn.AdaptiveAvgPool2d((1, 1)),
	nn.Flatten(),
	nn.Linear(num_channels, 10)
	)

应用

先确定输入和输出：

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=96)

万事俱备，只欠数据：

lr = 0.1
num_epochs = 10
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

结果是：