动手学深度学习03：多层感知机

最新推荐文章于 2024-08-08 17:45:51 发布

NUAA_Peter

最新推荐文章于 2024-08-08 17:45:51 发布

阅读量133

点赞数

分类专栏：深度学习文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/peterwanye/article/details/128521609

版权

深度学习专栏收录该内容

17 篇文章 0 订阅

订阅专栏

本文介绍了多层感知机的概念，包括隐藏层、激活函数的作用，如ReLU、sigmoid和tanh。通过PyTorch展示了如何从零开始和使用高级API实现一个具有单隐藏层、256个隐藏单元的多层感知机，并用Fashion-MNIST数据集进行训练。

摘要由CSDN通过智能技术生成

动手学深度学习03：多层感知机

感知机

我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。

多层感知机

这个多层感知机有4个输入，3个输出，其隐藏层包含5个隐藏单元，这个多层感知机中的层数为2。

激活函数

目的：引入非线性，使神经网络可以拟合任意的曲线（参考李宏毅机器学习教程）

有了激活函数，就不可能再将我们的多层感知机退化成线性模型

ReLu函数

$\operatorname{ReLU}(x) = \max(x, 0)$

Relu函数图像

使用ReLU的原因是，它求导表现得特别好：要么让参数消失，要么让参数通过。这使得优化表现得更好，并且ReLU减轻了困扰以往神经网络的梯度消失问题

sigmoid函数

$\operatorname{sigmoid}(x) = \frac{1}{1 + \exp(-x)}$

sigmoid函数图像

tanh函数

$\operatorname{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)}$

从零实现

实现一个具有单隐藏层的多层感知机，它包含256个隐藏单元

通常，我们选择2的若干次幂作为层的宽度。因为内存在硬件中的分配和寻址方式，这么做往往可以在计算上更高效

import torch
from torch import nn
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

'''实现一个具有单隐藏层的多层感知机，包含256个隐藏单元'''

# 参数初始化
num_inputs, num_outputs, num_hiddens = 784, 10, 256

W1 = nn.Parameter(torch.randn(
    num_inputs, num_hiddens, requires_grad=True) * 0.01) # randn初始化是正态(0, 1)分布
b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True))
W2 = nn.Parameter(torch.randn(
    num_hiddens, num_outputs, requires_grad=True) * 0.01)
b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True))

params = [W1, b1, W2, b2]

# 激活函数
def relu(X):
    a = torch.zeros_like(X)
    return torch.max(X, a)

# 模型
def net(X):
    X = X.reshape((-1, num_inputs)) # 256*1*28*28 -> 256*784
    H = relu(X@W1 + b1)  # 这里“@”代表矩阵乘法
    return (H@W2 + b2)

# 损失函数
loss = nn.CrossEntropyLoss(reduction='none')

# 训练 与上一节中的训练过程相似 使用相同的函数进行训练
num_epochs, lr = 10, 0.1
updater = torch.optim.SGD(params, lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)
d2l.predict_ch3(net, test_iter)

训练结果

测试结果

手动实现一个简单的多层感知机是很容易的。然而如果有大量的层，从零开始实现多层感知机会变得很麻烦（例如，要命名和记录模型的参数）。

简洁实现

通过高级API更简洁地实现多层感知机

import torch
from torch import nn
from d2l import torch as d2l

# 定义模型
net = nn.Sequential(nn.Flatten(),
                    nn.Linear(784, 256),
                    nn.ReLU(),
                    nn.Linear(256, 10))

# 参数初始化
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights);

batch_size, lr, num_epochs = 256, 0.1, 10
loss = nn.CrossEntropyLoss(reduction='none')
trainer = torch.optim.SGD(net.parameters(), lr=lr)

train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)