Multi-task中的多任务loss平衡问题

背景

multi-task的损失函数:
$$L(t)=\sum w_i(t)L_i(t,\theta )$$
在multi-task训练中存在着:

1. 如何平衡各个任务损失的权重,
2. 对于不同的任务的loss梯度之间的大小关系如果平衡,
3. 各任务学习率如何控制.

这些问题影响mult-task训练的最终效果. 处理不当, 很有可能一个task学的很好, 其他task学的很差.
三个问题是相通的.

7 Nov 2017 - GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks

论文地址
GradNorm的解决方法, 将$w_i$作为可学习的参数.
目标是:

1. 在不考虑学习率的情况下, 尽量使得各个task的$w_i(t)L_i(t,\theta )$对于参数$\theta$的gradient都与平均值接近.
2. 学习不充分的task, 给与比其他task更大的学习率.

$t$时间task $i$的$\theta$梯度:
$$G_{\theta }^{(i)}(t)=\Vert {▽}_{\theta }{w}_i(t)L_i(t,\theta ){\Vert }_2$$
所有task对$\theta$的平均梯度:
$${\overline{G}}_{\theta }(t)=E_{task}[G_{\theta }^{(i)}(t)]$$
对于学习率, 定义若干个变量:
定义一个loss相对于初始化时的占比, 优化程度.
L ~ i ( t ) = L i ( t ) / L i ( 0 ) \widetilde{L}_i(t)=L_i(t)/L_i(0)