【PyTorch学习-3】PyTorch高级操作|PyTorch生态系统相关工具|深度学习中的常用技巧|动态计算图与Autograd机制|模型调试与检查|分布式训练与并行计算|实用工具和技巧…

985小水博一枚呀

于 2024-10-10 07:30:00 发布

阅读量473

点赞数 20

分类专栏：学习笔记文章标签：深度学习 pytorch 学习神经网络 python 人工智能

本文链接：https://blog.csdn.net/gaoxiaoxiao1209/article/details/142792511

版权

64 篇文章 0 订阅

订阅专栏

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览2024年即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz

前言

继续扩展PyTorch学习中的常用语法、函数和搭建深度学习神经网络常用的库和函数，以下是更深入的一些内容，涵盖了更多高级操作、实用工具以及相关的生态工具和技巧。涵盖更复杂的场景和使用技巧，以及一些常用的进阶方法与实践。

合理的权重初始化有助于模型更好地收敛。PyTorch 提供了 torch.nn.init 模块来初始化权重。

import torch.nn.init as init

model = torch.nn.Linear(10, 2)
init.xavier_uniform_(model.weight)  # Xavier初始化

解释：xavier_uniform_()使用Xavier初始化方法，可以有效地避免梯度爆炸或梯度消失问题。

PyTorch 提供了简单的接口来保存和加载模型的参数。

torch.save(model.state_dict(), 'model.pth')

model = ModelClass()
model.load_state_dict(torch.load('model.pth'))

解释：state_dict 是包含模型所有参数的字典，torch.save() 和 torch.load() 用于保存和加载模型。

PyTorch 提供了动态计算图（Dynamic Computational Graph），即每次前向传播时都会重新构建计算图，这使得模型的定义和执行更加灵活。autograd 模块则负责自动求导。

autograd 是 PyTorch 中用于自动求导的模块。所有带有 requires_grad=True 的张量都会跟踪操作历史并支持反向传播。

x = torch.tensor(2.0, requires_grad=True)
y = x ** 2  # 构建动态计算图
y.backward()  # 计算梯度
print(x.grad)  # 输出x的梯度

解释：requires_grad=True 启用对 x 的梯度跟踪，y.backward() 执行反向传播后，x.grad 存储了 x 对 y 的梯度（在这里是 2*x）。

有时我们不需要跟踪计算图或进行反向传播，PyTorch 提供了 torch.no_grad() 和 detach() 方法来禁用梯度计算。

with torch.no_grad():
    y = model(x)  # 前向传播时不计算梯度

x = torch.tensor([1.0], requires_grad=True)
y = x ** 2
z = y.detach()  # 分离张量z，不会跟踪梯度

解释：torch.no_grad() 常用于推理阶段或评估阶段，而 detach() 可以从计算图中分离出不需要梯度计算的部分。

在复杂的场景下，例如当需要多次执行反向传播时，可以通过 retain_graph=True 来保留计算图。

y.backward(retain_graph=True)  # 保留计算图，允许后续的反向传播

解释：当需要多次对相同的计算图进行反向传播时，可以设置 retain_graph=True 来防止计算图被释放。

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览2024年即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz

关注

专栏目录