总结7（10.18-10.24）

最新推荐文章于 2024-07-13 21:34:41 发布

xyjaxx.

最新推荐文章于 2024-07-13 21:34:41 发布

阅读量71

点赞数

分类专栏：硕士学习总结文章标签： python 机器学习 1024程序员节

本文链接：https://blog.csdn.net/xyjaixuexi/article/details/120941179

版权

硕士学习总结专栏收录该内容

14 篇文章 4 订阅

订阅专栏

本周除了复习考试，主要完成了多层感知机（MLP）的学习，多层感知机是在单层神经网络的基础上引入一到多个隐藏层。

1.多层感知机模型

图1：一个单隐藏层的多层感知机

这个多层感知机有4个输⼊，3个输出，其隐藏层包含5个隐藏单元。输⼊层不涉及任何计算，因此使⽤此⽹络产⽣输出只需要实现隐藏层和输出层的计算。因此，这个多层感知机中的层数为2，并且隐藏层和输出层都是全连接。我们按如下⽅式计算单隐藏层多层感知机的输出 $\mathbf{O} \in \mathbb{R}^{n \times q}$

$\begin{aligned} \mathbf{H} & = \mathbf{X} \mathbf{W}^{(1)} + \mathbf{b}^{(1)}, \\ \mathbf{O} & = \mathbf{H}\mathbf{W}^{(2)} + \mathbf{b}^{(2)}. \end{aligned}$

如果将两个式子联立起来我们会发现它和单层神经网络其实是等价的，证明如下：

$\mathbf{O} = (\mathbf{X} \mathbf{W}^{(1)} + \mathbf{b}^{(1)})\mathbf{W}^{(2)} + \mathbf{b}^{(2)} = \mathbf{X} \mathbf{W}^{(1)}\mathbf{W}^{(2)} + \mathbf{b}^{(1)} \mathbf{W}^{(2)} + \mathbf{b}^{(2)} = \mathbf{X} \mathbf{W} + \mathbf{b}.$

其原因是因为对数据做多个仿射变换的叠加仍然是一个仿射变换。所以为了发挥多层结构的潜⼒，我们还需要⼀个额外的关键要素：在仿射变换之后对每个隐藏单元应⽤⾮线性的激活函数。

2.激活函数

2.1ReLU函数

$\operatorname{ReLU}(x) = \max(x, 0)$

可以看出，ReLU提供了⼀种⾮常简单的⾮线性变换。给定元素x，ReLU函数被定义为该元素与0的最⼤值，它实现简单，同时在各种预测任务中表现良好是常用的激活函数。

2.2sigmoid函数

$\operatorname{sigmoid}(x) = \frac{1}{1 + \exp(-x)}$

sigmoid函数将输⼊变换为区间(0, 1)上的输出。因此sigmoid通常称为挤压函数，因为它将范围(-inf, inf)中的任意输⼊压缩到区间(0, 1)中的某个值。

2.3tanh函数

$\operatorname{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)}$

该函数的形状类似于sigmoid函数，不同的是tanh函数关于坐标系原点中心对称。

3.代码实现

有了激活函数，多层感知机按照以下方式进行计算输出（ $\sigma$ 为激活函数）：

$\begin{aligned} \mathbf{H} & = \sigma(\mathbf{X} \mathbf{W}^{(1)} + \mathbf{b}^{(1)}), \\ \mathbf{O} & = \mathbf{H}\mathbf{W}^{(2)} + \mathbf{b}^{(2)}.\\ \end{aligned}$

3.1导入需要的包和数据集

import torch
from torch import nn
from d2l import torch as d2l
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

3.2定义模型参数

数据集每个图像由28×28=784个灰度像素值组成，类别数为10，所以设置输入数为784，输出为10，设隐藏单元数为256.

num_inputs, num_outputs, num_hiddens = 784, 10, 256

W1 = nn.Parameter(torch.randn(
    num_inputs, num_hiddens, requires_grad=True) * 0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
W2 = nn.Parameter(torch.randn(
    num_hiddens, num_outputs, requires_grad=True) * 0.01)
b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))

params = [W1, b1, W2, b2]

3.3定义激活函数

def relu(X):
    a = torch.zeros_like(X)
    return torch.max(X, a)

3.4定义模型

def net(X):
    X = X.reshape((-1, num_inputs))
    H = relu(X@W1 + b1)  # 这里“@”代表矩阵乘法 #或者H = relu(torch.matmul(X,w1) + b)
    return (H@W2 + b2)

3.5定义损失函数

loss = nn.CrossEntropyLoss()

3.6训练模型

num_epochs, lr = 10, 0.1
updater = torch.optim.SGD(params, lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)

图2：多层感知机训练

图3：softmax模型训练

可以发现多层感知机的结果会更好一点，损失函数下降到了0.4以下，而softmax的损失函数在0.4以上，所以这个模型会更好一些。

总结：本周进行了硕士第一次考试，可能太久没参加过考试了，很紧张。最近事情也越来越多，希望自己能合理安排规划吧。