【PyTorch学习-5】PyTorch高级操作|PyTorch生态系统相关工具|深度学习中的常用技巧|动态计算图与Autograd机制|模型调试与检查|分布式训练与并行计算|实用工具和技巧…-CSDN博客

本文链接：https://blog.csdn.net/gaoxiaoxiao1209/article/details/142795662

【PyTorch学习-5】PyTorch高级操作|PyTorch生态系统相关工具|深度学习中的常用技巧|动态计算图与Autograd机制|模型调试与检查|分布式训练与并行计算|实用工具和技巧…

文章目录

【PyTorch学习-5】PyTorch高级操作|PyTorch生态系统相关工具|深度学习中的常用技巧|动态计算图与Autograd机制|模型调试与检查|分布式训练与并行计算|实用工具和技巧…
前言
1. 实用工具和技巧
2. PyTorch中的优化器和自定义优化器
- 2.1 自定义优化器

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览2024年即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz

前言

继续扩展PyTorch学习中的常用语法、函数和搭建深度学习神经网络常用的库和函数，以下是更深入的一些内容，涵盖了更多高级操作、实用工具以及相关的生态工具和技巧。涵盖更复杂的场景和使用技巧，以及一些常用的进阶方法与实践。

1. 实用工具和技巧

1.1 权重冻结

在迁移学习时，通常会冻结预训练模型的某些层，以保持其参数不变。

权重冻结示例

for param in model.parameters():
    param.requires_grad = False  # 冻结所有层

解释：通过将 requires_grad 设置为 False 来冻结模型的权重，从而在微调时只更新新添加的层。

1.2 梯度裁剪（Gradient Clipping）

在反向传播时，有时会出现梯度爆炸的问题，导致模型不稳定。梯度裁剪是一个有效的解决方法。

梯度裁剪示例

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

解释：clip_grad_norm_ 将梯度裁剪到一个特定的范围（例如最大梯度范数为 1.0），防止梯度过大导致训练不稳定。

1.3 保存和加载模型

在深度学习项目中，定期保存和加载模型非常重要。除了保存模型参数之外，还可以保存整个模型。

保存模型参数

torch.save(model.state_dict(), 'model.pth')

加载模型参数

model.load_state_dict(torch.load('model.pth'))

保存整个模型

torch.save(model, 'model_complete.pth')

加载整个模型

model = torch.load('model_complete.pth')

解释：state_dict 只保存模型的参数，而保存整个模型则可以包含模型的结构和参数。使用 torch.save() 和 torch.load() 可以方便地保存和恢复模型。

2. PyTorch中的优化器和自定义优化器

2.1 自定义优化器

自定义优化器示例

from torch.optim.optimizer import Optimizer

class CustomOptimizer(Optimizer):
    def __init__(self, params, lr=0.01):
        defaults = dict(lr=lr)
        super(CustomOptimizer, self).__init__(params, defaults)

    def step(self, closure=None):
        for group in self.param_groups:
            for p in group['params']:
                if p.grad is None:
                    continue
                p.data.add_(-group['lr'], p.grad.data)

optimizer = CustomOptimizer(model.parameters(), lr=0.01)