GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks 论文阅读笔记

最新推荐文章于 2023-12-13 15:48:06 发布
最新推荐文章于 2023-12-13 15:48:06 发布
阅读量2.9k 收藏 5
点赞数 3
分类专栏： 多任务 文章标签： 多任务 grad norm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsq292978891/article/details/116121844
版权

GradNorm

  • 不同任务的的梯度幅度大致相同
  • 平衡不同任务的训练速率

梯度幅度和训练速率的定义
梯度幅度
在这里插入图片描述
首先是选模型的哪块参数来做梯度统计，这里选取的是所有任务共享层的最后一层。然后，通过计算每个任务loss相对于最后共享层的梯度的2范数，作为每个任务的梯度幅度表示，此外还计算了每个任务的梯度幅度，算一个均值，得到某次训练的梯度平均幅值。

训练速率
在这里插入图片描述
怎么去定义任务收敛的快慢，也即训练速率，论文这里用的是loss比，通常来说，网络最开始随机预测，此时loss最大，记为L(0)，然后以任务i在t时刻的L(t)/L(0)作为任务i的逆训练速率(每个任务的时间都是一样了，所以这里只表现出loss之比)。然后还可以计算得到一个相对逆训练速率。可推出正训练速率：[ Li(0) - Li(t) ] / Li(0)。

在这里插入图片描述
通过公式1，可以让GW往GW的均值去靠。
公式1虽然指明了梯度2范数的更新方向，但是没有直接在梯度上体现，也没有告诉用户在loss_weigt上应该做什么调整。下面讲讲这块。

在这里插入图片描述
这里其实是增加了一个L1 loss来让GWi向target靠近，这里称为Lgrad。为了不让Lgrad在收敛过程中，wi逐渐学习得到0值，将第二项当作一个常数来对待了（代码上要怎么操作？）。加了Lgrad之外，最后对wi还做了一个归一化处理（）。

在这里插入图片描述
上图是grad norm的一个展示图。这里提到，Grad norm相当于强行让每个任务的学习速率相等，但是在一些场景中，会要求一些任务具有相对较高或较低的梯度幅度。
下图展示了算法的流程图
在这里插入图片描述

tang-0203
关注
专栏目录
[nlp] grad norm先降后升再降
心宝的博客
11-16 1937
在深度学习中，梯度的范数通常被用来衡量模型参数的更新程度，也就是模型的学习进度。在训练初期，由于模型参数的初始值比较随机，梯度的范数可能会比较大，这是正常现象。随着模型的训练，梯度的范数通常会逐渐减小，直到收敛到一个较小的值。如果梯度的范数出现了不正常的变化，例如一直上升或一直下降，可能意味着模型存在问题，需要进行调整。例如，可以尝试调整模型的超参数，在某些情况下，梯度的范数可能会先下降，然后上升再下降，这也是正常现象。此外，还可以尝试使用不同的优化器或损失函数来训练模型，以寻找更好的训练效果。
gradnorm源码 - pytorch实现
04-23
gradnorm源码 - pytorch实现
GradNorm理解
最新发布
littlemichelle
12-13 8548
gradnorm在单个batch step的流程总结如下： 整体任务是指L=w_aL_a+w_bL_b， W是神经网络的参数值， gradnorm主要在动态学w_a, w_b；
GradNorm：Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks，梯度归一化
Leon_winter的博客
03-21 2万+
文章目录引言gradnorm   gradnorm论文地址：https://arxiv.org/abs/1711.02257   gradnorm是一种优化方法，在多任务学习（Multi-Task Learning）中，解决 1. 不同任务loss梯度的量级（magnitude）不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务；2. 不同任务收敛速度不一致；这两个...
GradNorm 简介
taoqick的专栏
10-05 6338
论文链接：https://arxiv.org/pdf/1711.02257.pdf 之前讲过了多任务学习，如简单的shared bottom，都存在一个问题：多个任务的loss如何融合？简单的方式，就是将多个任务的loss直接相加： 但实际情况是，不同任务loss梯度的量级不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务。此外，不同任务收敛速度不一致的，可能导致有些任务还处于欠拟合，可有些任务已经过拟合了。当然，我们可以人工的设置超参数，如： 由于各任务
【Pytorch】梯度裁剪——torch.nn.utils.clip_grad_norm_的原理及计算过程
capsule的博客
06-26 1万+
Pytorch梯度裁剪函数的计算过程
Deep Learning in Neural Networks: An Overview
03-30
这篇名为“Deep Learning in Neural Networks: An Overview”的论文为读者提供了一个全面且深入的深度学习概述，作者们详细介绍了该领域的基本概念、模型以及最新进展。 首先，深度学习的核心在于神经网络。神经...
【论文阅读笔记】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL
11-01
为了解决这些问题，我们开发了一个名为“Loss Spike Detector”的工具，可以自动检测损失.spike 并采取相应的措施。 GLM-130B 的性能优势 GLM-130B 模型在广泛的英语基准测试中超过了 GPT-3 175B（davinci），而在...
Gradient Descent Finds Global Minima of Deep Neural Networks
01-25
标题和描述都提到了“Gradient Descent Finds Global Minima of Deep Neural Networks”，即梯度下降方法能够在训练深度神经网络时找到全局最小值。这在理论上是一个非常重要的发现，因为传统的深度学习理论认为优化...
Grad-CAM：Visual Explanations from Deep Networks via Gradient-based Localization
06-11
Grad-CAM（Gradient-weighted Class Activation Mapping）是一种可视化技术，用于解释卷积神经网络（CNN）的决策过程。这项技术由Selvaraju等人在2017年的ICCV会议上发表，它通过分析模型的梯度信息来生成对输入图像...
详解torch.nn.utils.clip_grad_norm_ 的使用与原理
热门推荐
iioSnail的博客
02-08 5万+
文章目录clip_grad_norm_的原理clip_grad_norm_参数的选择（调参）clip_grad_norm_使用演示 clip_grad_norm_的原理 本文是对梯度剪裁: torch.nn.utils.clip_grad_norm_()文章的补充。所以可以先参考这篇文章 从上面文章可以看到，clip_grad_norm最后就是对所有的梯度乘以一个clip_coef，而且乘的前提是clip_coef一定是小于1的，所以，按照这个情况：clip_grad_norm只解决梯度爆炸问题，不解决
深度学习调参经验
Xwei1226的博客
06-29 8447
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军）1.Visualize Laye...
【论文阅读26】GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
qq_35653657的博客
08-16 945
深度多任务网络，即一个神经网络产生多个预测输出，可以比单任务网络提供更好的速度和性能，但正确的训练具有挑战性。我们提出了一种梯度归一化（GradNorm）算法，通过动态调整梯度大小来自动平衡深度多任务模型的训练。我们表明，对于各种网络架构，对于回归和分类任务，以及合成和真实数据集，与单任务网络、静态基线和其他自适应多任务损失平衡技术相比，GradNorm提高了准确性，并减少了跨多个任务的过拟合。GradNorm也匹配或超过穷举网格搜索方法的性能，尽管只涉及单个不对称超参数α。
Gradient Normalization(GradNorm) 梯度归一化(梯度标准化)
hxxjxw的博客
01-21 4672
出自ICML2018的paper 《GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks》 gradnorm是一种优化方法，在多任务学习（Multi-Task Learning）中，解决 1. 不同任务loss梯度的量级（magnitude）不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务；2. 不同任务收敛速度不一致；这两个...
GradNorm论文阅读
WSNjiang的博客
07-13 1105
GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks论文翻译摘要简介相关工作The GradNorm 算法定义和准备The GradNorm的平衡梯度样例 Loss Balancing in Deep Multitask Networks) 论文翻译 目前在进行基于ResNet的多任务学习，在训练过程中，出现了数据不平衡，参数共享存在一些问题。现在想加入一些基于loss改变的算法思想。论
torch.nn.utils.clip_grad_norm_()函数详解
m0_46702604的博客
12-10 5605
torch.nn.utils.clip_grad_norm_()函数详解 torch.nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2) 这个函数的主要目的是对 parameters\ parameters parameters里的所有参数的梯度进行规范化;  parameters\ parameters parameters为要规范的参数， max_norm\ max\_norm&nbsp
梯度裁剪：torch.nn.utils.clip_grad_norm_详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
10-08 2276
parameters：需要进行梯度裁剪的参数列表。通常是模型的参数列表，即model.parameters()max_norm：可以理解为梯度（默认是L2 范数）范数的最大阈值norm_type：可以理解为指定范数的类型，比如norm_type=1 表示使用L1 范数，norm_type=2 表示使用L2 范数。这个梯度裁剪函数一般来说只需要调整max_norm和norm_type这两个参数。最后就是对所有的梯度乘以一个clip_coef只解决梯度爆炸问题，不解决梯度消失问题。
Pytorch torch.nn.utils.clip_grad_norm_用于梯度裁剪
Decennie的博客
08-05 692
[torch.nn.utils.clip_grad_norm_用于梯度裁剪]
图像去除雨滴matlab代码
05-18
以下是一些可以用于去除图像中雨滴的Matlab代码示例： 方法一：基于梯度方向 ```matlab function out = remove_rain(img) % 图像灰度化和双边滤波 gray = rgb2gray(img); gray = im2double(gray); bf = bfilter2(gray, 7, [3 0.1]); % 计算梯度 [gx, gy] = gradient(bf); % 计算梯度方向 theta = atan2(gy, gx); % 计算梯度强度 grad = sqrt(gx .^ 2 + gy .^ 2); % 计算局部方向 ltheta = imfilter(theta, ones(5, 5) / 25, 'replicate'); % 计算局部梯度 lgrad = imfilter(grad, ones(5, 5) / 25, 'replicate'); % 计算掩码 mask = (lgrad > 0.02) & (abs(theta - ltheta) < pi / 6); % 去除雨滴 out = bf; for i = 1:5 out = medfilt2(out, [3 3]); out(mask) = bf(mask); end end ``` 方法二：基于暴雨区域检测 ```matlab function out = remove_rain(img) % 图像灰度化和双边滤波 gray = rgb2gray(img); gray = im2double(gray); bf = bfilter2(gray, 7, [3 0.1]); % 计算梯度 [gx, gy] = gradient(bf); % 计算梯度方向 theta = atan2(gy, gx); % 计算梯度强度 grad = sqrt(gx .^ 2 + gy .^ 2); % 计算局部方向 ltheta = imfilter(theta, ones(5, 5) / 25, 'replicate'); % 计算局部梯度 lgrad = imfilter(grad, ones(5, 5) / 25, 'replicate'); % 暴雨区域检测 thres = graythresh(lgrad); mask = lgrad > thres; % 去除雨滴 out = bf; for i = 1:5 out = medfilt2(out, [3 3]); out(mask) = bf(mask); end end ``` 以上代码仅供参考，具体效果视具体情况而定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值