GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks 论文阅读笔记

最新推荐文章于 2023-12-13 15:48:06 发布
最新推荐文章于 2023-12-13 15:48:06 发布
阅读量2.9k 收藏 5
点赞数 3
分类专栏： 多任务 文章标签： 多任务 grad norm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsq292978891/article/details/116121844
版权

GradNorm

  • 不同任务的的梯度幅度大致相同
  • 平衡不同任务的训练速率

梯度幅度和训练速率的定义
梯度幅度
在这里插入图片描述
首先是选模型的哪块参数来做梯度统计，这里选取的是所有任务共享层的最后一层。然后，通过计算每个任务loss相对于最后共享层的梯度的2范数，作为每个任务的梯度幅度表示，此外还计算了每个任务的梯度幅度，算一个均值，得到某次训练的梯度平均幅值。

训练速率
在这里插入图片描述
怎么去定义任务收敛的快慢，也即训练速率，论文这里用的是loss比，通常来说，网络最开始随机预测，此时loss最大，记为L(0)，然后以任务i在t时刻的L(t)/L(0)作为任务i的逆训练速率(每个任务的时间都是一样了，所以这里只表现出loss之比)。然后还可以计算得到一个相对逆训练速率。可推出正训练速率：[ Li(0) - Li(t) ] / Li(0)。

在这里插入图片描述
通过公式1，可以让GW往GW的均值去靠。
公式1虽然指明了梯度2范数的更新方向，但是没有直接在梯度上体现，也没有告诉用户在loss_weigt上应该做什么调整。下面讲讲这块。

在这里插入图片描述
这里其实是增加了一个L1 loss来让GWi向target靠近，这里称为Lgrad。为了不让Lgrad在收敛过程中，wi逐渐学习得到0值，将第二项当作一个常数来对待了（代码上要怎么操作？）。加了Lgrad之外，最后对wi还做了一个归一化处理（）。

在这里插入图片描述
上图是grad norm的一个展示图。这里提到，Grad norm相当于强行让每个任务的学习速率相等，但是在一些场景中，会要求一些任务具有相对较高或较低的梯度幅度。
下图展示了算法的流程图
在这里插入图片描述

tang-0203
关注
专栏目录
GradNorm：Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks，梯度归一化
Leon_winter的博客
03-21 2万+
文章目录引言gradnorm   gradnorm论文地址：https://arxiv.org/abs/1711.02257   gradnorm是一种优化方法，在多任务学习（Multi-Task Learning）中，解决 1. 不同任务loss梯度的量级（magnitude）不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务；2. 不同任务收敛速度不一致；这两个...
归一化技术(Normalization)学习
Remoa的休闲茶馆
12-23 2976
Review comments on "Normalization Techniques in Training DNNs: Methodology, Analysis and Application" 1、Summary； 2、Positive points； 3、Negative points; 4、References
GradNorm理解
最新发布
littlemichelle
12-13 8642
gradnorm在单个batch step的流程总结如下： 整体任务是指L=w_aL_a+w_bL_b， W是神经网络的参数值， gradnorm主要在动态学w_a, w_b；
【论文阅读26】GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
qq_35653657的博客
08-16 958
深度多任务网络，即一个神经网络产生多个预测输出，可以比单任务网络提供更好的速度和性能，但正确的训练具有挑战性。我们提出了一种梯度归一化（GradNorm）算法，通过动态调整梯度大小来自动平衡深度多任务模型的训练。我们表明，对于各种网络架构，对于回归和分类任务，以及合成和真实数据集，与单任务网络、静态基线和其他自适应多任务损失平衡技术相比，GradNorm提高了准确性，并减少了跨多个任务的过拟合。GradNorm也匹配或超过穷举网格搜索方法的性能，尽管只涉及单个不对称超参数α。
GradNorm: Gradient Normalization for AdaptiveLoss Balancing in Deep Multitask Networks 论文笔记
AIWCZ的博客
10-10 405
①目的： 1.促使不同任务损失的量级接近。 2.促使不同任务以相近的速度来进行学习。 ②实现： 总损失 = w1 *任务一损失 + w2*任务二损失 + w3*任务三损失 对w1，w2，w3建模损失函数，实现①中的目的 2.1 衡量任务loss的量级 2.2 衡量任务loss的学习速度 上式表示 相对反向训练速度，其越大，表示任务i在所有任务中训练越慢。 2.3 Gradient Loss（GL） 其中α是超参，其他的上面已经定义。 ①当某个任务的梯度标准化值 较 平均值过大或过小时 都会产生相应
Multi-task中的多任务loss平衡问题
热门推荐
qq_34527082的博客
08-24 1万+
Multi-task中的多任务loss平衡问题GradNorm GradNorm GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks multi-task的损失函数: L(t)=∑wi(t)Li(t)L(t)=\sum{w_i(t)L_i(t)}L(t)=∑wi​(t)Li​...
【多任务优化】DWA、DTP、Gradnorm（CVPR 2019、ECCV 2018、 ICML 2018）
chadlee
07-25 1537
L=i∑​Li​显然这种做法有很大问题，因为不同task的label分布不同，同时不同task的loss量级也不同，整个模型很可能被一些loss特别大的任务主导。L=i∑​wi​∗Li​L=i∑​wi​(t,θ)∗Li​t是训练的step，theta是模型其他参数。但是这种做法也不一定有人工设计权重好。一些设计wi​(t,θ)...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
gradnorm源码 - pytorch实现
04-23
gradnorm源码 - pytorch实现
GradNorm论文阅读
WSNjiang的博客
07-13 1114
GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks论文翻译摘要简介相关工作The GradNorm 算法定义和准备The GradNorm的平衡梯度样例 Loss Balancing in Deep Multitask Networks) 论文翻译 目前在进行基于ResNet的多任务学习，在训练过程中，出现了数据不平衡，参数共享存在一些问题。现在想加入一些基于loss改变的算法思想。论
GradNorm 简介
taoqick的专栏
10-05 6382
论文链接：https://arxiv.org/pdf/1711.02257.pdf 之前讲过了多任务学习，如简单的shared bottom，都存在一个问题：多个任务的loss如何融合？简单的方式，就是将多个任务的loss直接相加： 但实际情况是，不同任务loss梯度的量级不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务。此外，不同任务收敛速度不一致的，可能导致有些任务还处于欠拟合，可有些任务已经过拟合了。当然，我们可以人工的设置超参数，如： 由于各任务
Gradient Normalization(GradNorm) 梯度归一化(梯度标准化)
hxxjxw的博客
01-21 4689
出自ICML2018的paper 《GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks》 gradnorm是一种优化方法，在多任务学习（Multi-Task Learning）中，解决 1. 不同任务loss梯度的量级（magnitude）不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务；2. 不同任务收敛速度不一致；这两个...
多任务学习中的梯度归一，GradNorm
1066196847的博客
03-06 3055
多任务学习中的梯度归一，GradNorm
梯度裁剪torch.nn.utils.clip_grad_norm_
orangerfun的博客
09-20 1490
1. 作用 防止梯度爆炸，即设置一个梯度大小的上限，当梯度的范数大于上限时，将该参数的范数设置为上限。 补充：范数 最常用的是p-范数，若向量x=[x1,x2,⋯ ,xn]Tx=\left[x_{1}, x_{2}, \cdots, x_{n}\right]^{\mathrm{T}}x=[x1​,x2​,⋯,xn​]T，则p范数定义如下 ∥x∥p=(∣x1∣p+∣x2∣p+⋯+∣xn∣p)1p \|x\|_{p}=\left(\left|x_{1}\right|^{p}+\left|x_{2}\right|
多任务学习——【ICML 2018】GradNorm
07-25 1174
由于各任务在训练过程中自己的梯度量级和收敛速度也是动态变化的，所以很显然这样定值的w做并没有很好的解决问题。从上图可知，GradNorm 是以平衡的梯度作为目标，优化Grad Loss，从而动态调整各个任务的w。，可能导致有些任务还处于欠拟合，可有些任务已经过拟合了。，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务。论文链接：https://arxiv.org/pdf/1711.02257.pdf。r调节着任务收敛速度:收敛速度越快，要注意的是，上式中，减号后面的项，是。
详讲torch.nn.utils.clip_grad_norm_
LitraLIN的博客
12-07 5676
Pytorch梯度截断：torch.nn.utils.clip_grad_norm_ 梯度裁剪： 既然在BP过程中会产生梯度消失（即偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值（梯度裁剪解决的是梯度消失或爆炸的问题，即设定阈值），如下图所示： torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2) 函数定义：裁剪可迭代参数的渐变范数，范数是在所有梯度一起计算的，就好想
torch.nn.utils.clip_grad_norm_()函数详解
m0_46702604的博客
12-10 5613
torch.nn.utils.clip_grad_norm_()函数详解 torch.nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2) 这个函数的主要目的是对 parameters\ parameters parameters里的所有参数的梯度进行规范化;  parameters\ parameters parameters为要规范的参数， max_norm\ max\_norm&nbsp
图像去除雨滴matlab代码
05-18
以下是一些可以用于去除图像中雨滴的Matlab代码示例： 方法一：基于梯度方向 ```matlab function out = remove_rain(img) % 图像灰度化和双边滤波 gray = rgb2gray(img); gray = im2double(gray); bf = bfilter2(gray, 7, [3 0.1]); % 计算梯度 [gx, gy] = gradient(bf); % 计算梯度方向 theta = atan2(gy, gx); % 计算梯度强度 grad = sqrt(gx .^ 2 + gy .^ 2); % 计算局部方向 ltheta = imfilter(theta, ones(5, 5) / 25, 'replicate'); % 计算局部梯度 lgrad = imfilter(grad, ones(5, 5) / 25, 'replicate'); % 计算掩码 mask = (lgrad > 0.02) & (abs(theta - ltheta) < pi / 6); % 去除雨滴 out = bf; for i = 1:5 out = medfilt2(out, [3 3]); out(mask) = bf(mask); end end ``` 方法二：基于暴雨区域检测 ```matlab function out = remove_rain(img) % 图像灰度化和双边滤波 gray = rgb2gray(img); gray = im2double(gray); bf = bfilter2(gray, 7, [3 0.1]); % 计算梯度 [gx, gy] = gradient(bf); % 计算梯度方向 theta = atan2(gy, gx); % 计算梯度强度 grad = sqrt(gx .^ 2 + gy .^ 2); % 计算局部方向 ltheta = imfilter(theta, ones(5, 5) / 25, 'replicate'); % 计算局部梯度 lgrad = imfilter(grad, ones(5, 5) / 25, 'replicate'); % 暴雨区域检测 thres = graythresh(lgrad); mask = lgrad > thres; % 去除雨滴 out = bf; for i = 1:5 out = medfilt2(out, [3 3]); out(mask) = bf(mask); end end ``` 以上代码仅供参考，具体效果视具体情况而定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值