GradNorm: Gradient Normalization for AdaptiveLoss Balancing in Deep Multitask Networks 论文笔记

①目的：
1.促使不同任务损失的量级接近。
2.促使不同任务以相近的速度来进行学习。

②实现：
总损失 = w1 *任务一损失 + w2*任务二损失 + w3*任务三损失

对w1，w2，w3建模损失函数，实现①中的目的

2.1 衡量任务loss的量级

2.2 衡量任务loss的学习速度

上式表示 相对反向训练速度，其越大，表示任务i在所有任务中训练越慢。

2.3 Gradient Loss（GL）

其中α是超参，其他的上面已经定义。
①当某个任务的梯度标准化值 较 平均值过大或过小时 都会产生相应损失。
②ri(t)位于减号一侧，是由于某个任务梯度标准化值过大，与训练过快时(ri(t)变小)，都会产生同样的损失方向，即loss增加。

2.4 算法描述