①目的:
1.促使不同任务损失的量级接近。
2.促使不同任务以相近的速度来进行学习。
②实现:
总损失 = w1 *任务一损失 + w2*任务二损失 + w3*任务三损失
对w1,w2,w3建模损失函数,实现①中的目的
2.1 衡量任务loss的量级
2.2 衡量任务loss的学习速度
上式表示 相对反向训练速度,其越大,表示任务i在所有任务中训练越慢。
2.3 Gradient Loss(GL)
其中α是超参,其他的上面已经定义。
①当某个任务的梯度标准化值 较 平均值过大或过小时 都会产生相应损失。
②ri(t)位于减号一侧,是由于某个任务梯度标准化值过大,与训练过快时(ri(t)变小),都会产生同样的损失方向,即loss增加。
2.4 算法描述