自学神经网络总结3

写作动机

第一篇主要从数学建模的角度总结了近期自学神经网络的成果，但纸上得来终觉浅，不通过代码实现一遍很多东西终究只是空中楼阁。所以本篇总结主要从代码角度回顾总结自学成果。

尽量做到每日一次总结。

行文思路

仿照鱼书的风格，先给出计算图，再一步一步根据计算图搭建代码。

使用框架

因为笔者是一名医学生，所以选择现有的框架——pytorch进行代码的实现。

参考书籍

《动手学深度学习2.0》

2024/2/26——softmax回归

和线性回归相比，softmax回归的差异主要在输出数字的维度——线性回归是一个，softmax回归是多个。

当然，“softmax”意味着在最后的输出数字阶段，会有进一步的处理，即指数求和再相除的阶段。

确定模型

• 输入数字：多维度
• 输出数字：多维度
• 数字映射：输入数字直接“加权求和”

计算图

同理，输入和输出的维度都不是确定的。

代码实现

from torch inmport nn
softmax_net = nn.Sequential(nn.Linear(5,3))

应用

首先确定输入数字和输出数字。

本次拟解决的问题是简单的图像分类，使用的数据集是Fashion-MNIST。

该数据集的数据结构是：图像+标签。

一共有10种物品，每种物品有7000张，其中6000张用于训练，1000张用于测试。

每张图像的像素是28×28。

还是先要将输入数字和输出数字加载到迭代器中：

import torch
from torch import nn
from d2l import torch as d2l

train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=256)

接着实现模型骨架：

softmax_net = nn.Sequential(nn.Flatten(), nn.Linear(28*28,10))
#nn.Flatten()的作用是把28*28的图像拉成一个长条

然后填充模型的细节：

#初始化参数
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)

softmax_net.apply(init_weights)

确定损失函数时要注意，出于计算的考虑，在运用损失函数时，数据是用的softmax处理前的：

#损失函数确定为交叉熵
loss = nn.CrossEntropyLoss(reduction='none')

反向优化的方法依旧选择梯度下降：

#优化方法定为梯度下降
trainer = torch.optim.SGD(net.parameters(), lr=0.1)

万事俱备，只欠数据：

num_epochs = 10
d2l.train_ch3(softmax_net, train_iter, test_iter, loss, num_epochs, trainer)

结果是：

最后用来看看预测效果如何：

def predict_softmax_net(softmax_net, test_iter, n=6):
    for X, y in test_iter:
        break
    trues = d2l.get_fashion_mnist_labels(y)
    preds = d2l.get_fashion_mnist_labels(net(X).argmax(axis=1))
    titles = [true +'\n' + pred for true, pred in zip(trues, preds)]
    d2l.show_images(
        X[0:n].reshape((n, 28, 28)), 1, n, titles=titles[0:n])

predict_softmax_net(softmax_net, test_iter)

结果如下：