Pytorch 中的 torch.optim.swa_utils.AverageModel() 及其原理总结

已于 2023-01-31 09:35:39 修改
阅读量875 收藏 1
点赞数 1
分类专栏： Pytorch 中的各种函数 文章标签： Pytorch Powered by 金山文档
于 2023-01-31 09:35:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z2572862506/article/details/128811734
版权

1 背景知识

在了解 torch.optim.swa_utils.AverageModel() 前, 我们先了解以下 SWA(随机加权平均)

1.1 SWA

SWA 全称 : Stochastic Weight Averaging,

  • SWA是使用修正后的学习率策略对SGD(或任何随机优化器)遍历的权重进行平均，从而可以得到更好的收敛效果

  • 随机梯度下降(SGD)在测试集上，趋向于收敛至损失相对低的地方，但却很难收敛至最低点, 经过几个epoch的训练，得到了W1,W2,W3三个权重，但无法收敛至最低点。如果使用SWA可以将三个权重加权平均，从而可能收敛至相对SGD更小的损失

  • SGD在训练集收敛得比较好，但是在测试集效果并不如SWA。而SWA虽然在训练集收敛得不如SGD，但是在测试集上表现得更加好

2 AverageModel() 介绍

AveragedModel 类用于计算SWA模型的权重。可以通过运行以下命令创建一个averaged model:

from torch.optim.swa_utils import AverageModel
swa_model = AverageModel(model)

这里的模型Model可以是任意的torch.nn.Module对象。swa_model将跟踪模型参数的运行平均值。要更新这些平均值，你可以使用update_parameters()函数:

swa_model.update_parameters(model)

怎样才能回到过去
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch学习笔记十：torch.optim下的优化算法的使用方法详解
耐心的小黑的博客
04-09 2964
这里，我们不对每一个具体的优化算法做解释，只是对torch.optim下的算法的使用方法以及有哪些属性做一下说明。 一、torch.optim torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。 二、如何使用optimizer 为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持...
PyTorch中的随机加权平均-Python开发
05-25
该存储库包含来自纸质随机权重平均（SWA）的DNN的随机权重平均（SWA）训练方法的PyTorch实现此存储库包含来自纸质平均权重的DNN的随机权重平均（SWA）训练方法的PyTorch实现Pavel Izmailov，Dmitrii Podoprikhin，Timur Garipov，Dmitry Vetrov和Andrew Gordon Wilson带来了更宽的最优性和更好的泛化。 简介SWA是一种简单的DNN训练方法，可以用作SGD的直接替代方法，具有改进的泛化，更快的收敛性，并且基本上不需要
torch_swa_examples_SWA_pytorch_
10-01
pytorch中swa模块的使用范例，能有效提高模型的泛化能力。
SWA(随机权重平均) for Pytorch
菊头蝙蝠的博客
05-25 4853
https://blog.csdn.net/leviopku/article/details/84037946 https://pytorch.org/blog/pytorch-1.6-now-includes-stochastic-weight-averaging/
torch_swa_examples
05-29
随机加权平均（SWA） PyTorch 1.6现在支持随机加权平均（SWA）！ 该存储库包含在对DNN使用SWA训练方法的实现的 。 此PyTorch的代码改编自原始的PyTorch。 请参阅新的PyTorch博客文章，以获取有关SWA和torch.optim实现的更多详细信息。 该文件提出了SWA （UAI 2018） 作者：Pavel Izmailov、Dmitrii Podoprikhin、Timur Garipov、Dmitry Vetrov 和 Andrew Gordon Wilson。 介绍 SWA是一种简单的DNN训练方法，可以用作SGD的直接替代方法，具有改进的泛化，更快的收敛性，并且基本上没有开销。 SWA的关键思想是使用修改后的学习率计划对SGD生成的多个样本求平均。 我们使用恒定或周期性的学习速率计划，这会使SGD探索权重空间中与高性能网络相对应的点集。 我们观
pytorch - swa_model模型保存的问题
菊头蝙蝠的博客
05-26 2293
在pytorch中使用swa_model 进行保存的时候会出现这样的问题。 1.首先复制一份swa_utils.py到当前目录 2.其次将AveragedModel类改成下面的样子 class AveragedModel(Module): def __init__(self, model, device=None): super(AveragedModel, self).__init__() self.module = deepcopy(model)
PyTorch入门二 || pytorch线性模型
qq1803291168
01-31 1033
pytorch线性模型简介
浅谈Pytorch torch.optim优化器个性化的使用
09-17
PyTorch中的`torch.optim`模块提供了一系列常见的优化算法，如SGD（随机梯度下降）、Adam、Adagrad等。本文将探讨如何在PyTorch中实现`torch.optim`优化器的个性化使用，以便更好地控制模型训练过程。 首先，我们...
PyTorch中torch.tensor与torch.Tensor的区别详解
09-16
总结来说，PyTorch中的 `torch.tensor` 和 `torch.Tensor` 主要区别在于数据类型推断和默认行为。`torch.tensor` 更加灵活，能够根据输入自动确定数据类型，而 `torch.Tensor` 默认创建浮点类型的张量，且在单元素...
PyTorch基础入门一：PyTorch基本数据类型
热门推荐
Liam的个人博客
07-28 1万+
PyTorch基础入门一：PyTorch基本数据类型 1）Tensor(张量) Pytorch里面处理的最基本的操作对象就是Tensor（张量），它表示的其实就是一个多维矩阵，并有矩阵相关的运算操作。在使用上和numpy是对应的，它和numpy唯一的不同就是，pytorch可以在GPU上运行，而numpy不可以。所以，我们也可以使用Tensor来代替numpy的使用。当然，二者也可以相互转换。...
SWA实战：使用SWA进行微调，提高模型的泛化.zip
04-26
SWA简单来说就是对训练过程中的多个checkpoints进行平均，以提升模型的泛化性能。记训练过程第i ii个epoch的checkpoint为w i w_{i}w i ​ ，一般情况下我们会选择训练过程中最后的一个epoch的模型w n w_{n}w n ​ 或者在验证集上效果最好的一个模型w i ∗ w^{*}_{i}w i ∗ ​ 作为最终模型。但SWA一般在最后采用较高的固定学习速率或者周期式学习速率额外训练一段时间，取多个checkpoints的平均值。 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/124414939
【torch.optim】优化器的使用 / 学习率的调整 / SWA策略
zyw2002的博客
12-09 2627
torch.optim是实现各种优化算法的包。大多数常用的方法都已得到支持，而且接口足够通用，因此将来还可以轻松集成更复杂的方法。
深度学习优化器
weixin_40849121的博客
04-19 2005
深度学习前沿优化器调研
随机权值平均优化器SWA(Stochastic Weight Averaging)简介
weixin_42108090的博客
09-11 2114
SWA is a simple procedure that improves generalization in deep learning over Stochastic Gradient Descent (SGD) at no additional cost, and can be used as a drop-in replacement for any other optimizer in PyTorch. SWA has a wide range of applications and feat
SWA(随机权重平均)——一种全新的模型优化方法
木盏
11-13 1万+
这两天被朋友推荐看了一篇热乎的新型优化器的文章，文章目前还只挂在arxiv上，还没发表到顶会上。本着探索的目的，把这个论文给复现了一下，顺便弥补自己在优化器方面鲜有探索的不足。 论文标题：Averaging Weights Leads to Wider Optima and Better Generalization 论文链接：https://arxiv.org/abs/1803.05407....
PyTorch学习笔记
潜心
11-19 784
Python API 目录 一、torch包 1.Tensors 2.Creation Ops 3.Indexing, Slicing, Joining, Mutating Ops 4.Generators 5.Random sampling 二、torch.nn包 1.Containers 2.Convolution Layers 3.Pooling layers 4.Padding Layers 5.Non-linear Activations (weighted sum, n
Stochastic Weight Averaging in PyTorch
xiaojiajia007的博客
06-03 1201
Stochastic Weight Averaging in PyTorch | PyTorch.pdf 具体指导请参见上的的pdf文件 SWA为什么有效 Figure 1. Illustrations of SWA and SGD with a Preactivation ResNet-164 on CIFAR-100 [1]. Left: test error surface for thr...
【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签
忽逢桃林的博客
07-31 4784
文章来自公众号【机器学习炼丹术】 1 stochastic weight averaging（swa） 随机权值平均 这是一种全新的优化器，目前常见的有SGB，ADAM， 【概述】：这是一种通过梯度下降改善深度学习泛化能力的方法，而且不会要求额外的计算量，可以用到Pytorch的优化器中。 随机权重平均和随机梯度下降SGD相似，所以我一般吧SWa看成SGD的进阶版本。 1.1 原理与算法 swa算法流程： 【怎么理解】： 对wswaw_{swa}wswa​做了一个周期为c的滑动平均。每迭代c次，就会
如何设置Pytorch中torch.nn.utils.clip_grad_norm_函数的参数值
最新发布
04-23
您可以传入两个参数，一个是模型参数，一个是最大梯度范数，通常建议设置最大范数值在1到5之间。例如，使用下面的代码可以将模型的梯度范数限制在5个单位以内： ``` torch.nn.utils.clip_grad_norm_(model.parameters(), 5) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值