前言:本篇文章的服务对象是没有武力值也想和pytorch沾沾边的小白朋友们,主要的内容是对于经典代码的逐行解读,解读内容以注释的形式展示。
本篇文章的代码来源为(李沐 动手学深度学习pytorch版)
本篇文章是通过调用深度学习的高级API实现多层感知机,确实很简洁。
简洁实现,数据是3D的我们需要将其使用Flatten()函数变为二维的,
先是第一层,调用一个线性层(Linear)定义输入输出的大小,加入激活函数(ReLU)
再调用一个线性层(Linear)作为输出层(第二层)
import torch
from torch import nn
from d2l import torch as d2l
net = nn.Sequential(nn.Flatten(),
nn.Linear(784, 256),
nn.ReLU(),
nn.Linear(256, 10))
定义了初始化权重的函数,对数据进行初始化。
# 下文是定义了一个初始化权重的函数
def init_weights(m):
if type(m) == nn.Linear: # ==条件,类型是Linear
nn.init.normal_(m.weight, std=0.01) # 均值为0,方差为0.01的随机初始化权重
net.apply(init_weights)
下面是训练过程,定义批量大小,学习率,训练轮次
用CrossEntropyLoss做损失,用SGD做随机小批量梯度下降
然后把数据提取出来,并用在之前文章中定义的train_ch3函数进行训练,该函数中包含对于结果的展示。
batch_size, lr, num_epochs = 256, 0.1, 10
loss = nn.CrossEntropyLoss(reduction='none')
trainer = torch.optim.SGD(net.parameters(), lr=lr)
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)
不难看出,在实现的过程中,多层感知机和softmax的实现流程没什么区别,最大的区别就是增加的激活函数和隐藏层。