Pytorch基础总结

最新推荐文章于 2022-08-08 11:30:05 发布

yizhi_hao

最新推荐文章于 2022-08-08 11:30:05 发布

阅读量800

点赞数 2

分类专栏：深度学习文章标签： python 深度学习

本文链接：https://blog.csdn.net/qq_41533576/article/details/118705614

版权

深度学习专栏收录该内容

16 篇文章 3 订阅

订阅专栏

本文介绍了如何使用PyTorch进行线性回归的实现，包括数据生成、模型定义、参数初始化、损失函数与优化器的选择（如SGD）以及训练过程。通过实例展示了PyTorch中optimizer.step()、loss.backward()和scheduler.step()的交互，最终成功逼近真实参数，验证了模型的正确性。

摘要由CSDN通过智能技术生成

为日后方便复习，对Pytorch基础知识做了简单整理

关于优化器和loss的使用，可参考以下两篇博文：
Pytorch内部中optim和loss是如何交互的？
optimizer.step() 、loss.backward()和scheduler.step()的关系

针对李沐老师所讲的最简单的线性回归进行复现，熟悉各个工具的使用

生成数据集

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

true_w = torch.tensor([2, -3.4])
true_b = 4.2
# 随机生成1000个feature和label
features, labels = d2l.synthetic_data(true_w, true_b, 1000)

读取数据集

def load_array(data_arrays, batch_size, is_train=True):  #@save
    # 构造一个PyTorch数据迭代器
    # torch.utils.data.TensorDataset(Dataset)：包装数据和目标张量的数据集，直接传入张量参数即可(*tensor)
    # 该类通过每一个 tensor 的第一个维度进行索引。因此，该类中的 tensor 第一维度必须相等。
    dataset = data.TensorDataset(*data_arrays)
    
    # 通过DataLoader类从dataset中选取数据，每次读取大小为batch_size
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

batch_size = 10
# 传入张量数组，返回一个可迭代的张量组
data_iter = load_array((features, labels), batch_size)

使用 iter 构造Python迭代器，并使用 next 从迭代器中获取第一项。

# data_iter可以像迭代器一样使用，但实际不是迭代器
# 使用 iter 将其转换为Python迭代器，并使用 next 从迭代器中获取第一项验证结果是否正确
next(iter(data_iter))

[tensor([[-0.5462, -0.5694],
         [-0.1199,  1.4400],
         [-0.9094,  0.7440],
         [-0.4621, -0.1859],
         [ 1.4985,  0.9781],
         [-0.5760, -0.9617],
         [ 0.6076,  0.0953],
         [ 0.5949, -0.8725],
         [ 0.9307, -0.8785],
         [ 0.7497,  0.3243]]),
 tensor([[ 5.0473],
         [-0.9440],
         [-0.1661],
         [ 3.9095],
         [ 3.8756],
         [ 6.3346],
         [ 5.0914],
         [ 8.3452],
         [ 9.0604],
         [ 4.5921]])]

定义模型

from torch import nn
# nn.Linear(2, 1)输入维度为2，输出维度为1
net = nn.Sequential(nn.Linear(2, 1))

初始化模型参数

# 使用正态分布替换weight的值
net[0].weight.data.normal_(0, 0.01)
# bias设为0
net[0].bias.data.fill_(0)

tensor([0.])

定义损失函数和优化算法

# 计算均方误差使用的是MSELoss类，也称为平方  L2  范数。默认情况下，它返回所有样本损失的平均值
loss = nn.MSELoss()

# PyTorch 在 optim 模块实现了 SGD ，仅需指定优化的参数（可通过 net.parameters() 从我们的模型中获得）以及优化算法所需的超参数字典
# 小批量随机梯度下降只需要设置 lr值，这里设置为 0.03。

trainer = torch.optim.SGD(net.parameters(),  lr=0.03)

训练

回顾一下：在每个迭代周期里，我们将完整遍历一次数据集（train_data），不停地从中获取一个小批量的输入和相应的标签。对于每一个小批量，我们会进行以下步骤:

通过调用 net(X) 生成预测并计算损失 l（正向传播）。
通过进行反向传播来计算梯度。
通过调用优化器来更新模型参数。

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        # 向loss中传入net的参数
        l = loss(net(X), y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')

epoch 1, loss 0.000429
epoch 2, loss 0.000103
epoch 3, loss 0.000102

# 比较生成数据集的真实参数和通过有限数据训练获得的模型参数
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

w的估计误差： tensor([0.0007, 0.0002])
b的估计误差： tensor([6.5327e-05])

可以看到，利用Pytorch神经网络工具箱，仅需40余行代码就可简单实现回归问题，效率提升明显