Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics 论文学习

论文地址：Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics

1. 解决了什么问题？

多任务学习从一个共享的表征学习多个目标函数，能提升学习效率和预测的准确率。场景理解算法需要同时理解场景的几何和语义信息，但回归和分类算法用到的单位和尺度各不相同。
以前的方法将各项损失简单地加权求和，同时学习多个任务，各损失的权重要么通过均匀采样得到，要么需要手动调节。多任务学习的表现好坏高度取决于各任务损失的相对权重。调节这些权重非常困难，代价比较高。作者发现，各任务的最优权重取决于测量的尺度和任务噪声的大小。

2. 提出了什么方法？

提出了一个多任务学习方法，它考虑了各个任务的“同方差不确定性”来对各项损失函数做加权。这使我们能同时学习分类和回归任务中不同尺度的权重。模型能从单目输入图像中学习回归各像素的深度信息、语义和实例分割。本文中，“同方差不确定性”可以理解为对各任务的加权，并推导出多任务损失函数，平衡回归和分类损失。本文方法应用于三个任务上：语义分割、实例分割和像素深度信息。将这些任务结合于同一个模型中，确保各任务的输出是一致的，从而降低计算量。
下图中，将多个回归和分类损失函数结合为一个损失，实现多任务学习。输入是一张 RGB 图像，输出像素的语义类别和实例类别，及各像素的深度信息。多任务学习能提升单任务模型的准确率，因为其它任务的信息能辅助改善当前任务的泛化能力。

多任务学习从多个目标去优化模型，最简单的方式就是对每个任务的损失线性加权求和：
$$L_{total}=\sum _i{w}_i{L}_i$$
但这个方式有一些问题。模型表现对于权重$w_i$值的选取很敏感，调参的代价高昂。下图 (a) 展示了语义分割和深度回归的学习，(b) 是实例分割和深度回归任务的学习。所有的模型学习率都是$0.01$，使用上述等式计算。下图两边代表了各自任务训练的模型，曲线反映了权重$w_i$变化带来的影响。我们可以看到，某些最优权重值能让多任务网络的表现超过单任务训练的网络（单任务模型的表现可见于图的两边：$w=0,w=1$）。

2.1 Homoscedastic uncertainty as task-dependent uncertainty

在 Bayesian 模型中，可以对两类不确定性建模。

• 认知不确定性：捕捉模型因为数据匮乏而不确定的信息，可以通过增加数据来解释。
• 任意不确定性：捕捉数据无法解释的不确定信息，可以通过观测所有能带来精度提升的可解释变量来解释。

任意不确定性可以分为两类：

• 数据依赖或异方差不确定性依赖输入数据，作为模型的输出而预测。
• 任务依赖或同方差不确定性不依赖于输入数据。它不是模型的输出，而是一种数量，它对所有的输入数据保持不变，随着任务的不同而变化。

在多任务学习中，任务不确定性能捕捉各任务间的相对置信度，反映回归或分类任务内在的不确定性。它也由任务表征或测量单位决定。作者提出使用同方差不确定性作为多任务学习损失加权的基础。

2.2 Multi-task likelihoods

作者使用同方差不确定性最大化高斯似然，推导出一个多任务损失函数。输入是$\mathbf{x}$，网络权重是$\mathbf{W}$，输出是${\mathbf{f}}^{\mathbf{W}}(\mathbf{x})$。定义下述概率模型。
对于回归任务，使用高斯似然定义，均值由模型的输出给定，$\sigma$是个标量，代表观测噪声：
$$p(y|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))=\mathcal{N}({\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }^2)$$

对于分类任务，使用 Softmax 函数来压缩模型的输出，然后从该概率向量中采样：
$$p(y|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))=\text{Softmax}({\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))$$
如果模型的输出有多项，给出似然的定义来对输出做因式分解。
$$p\left({\mathbf{y}}_1,...,{\mathbf{y}}_K|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)=p\left({\mathbf{y}}_1|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right),...,p\left({\mathbf{y}}_K|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)$$
${\mathbf{y}}_1,...,{\mathbf{y}}_K$是模型的输出，如语义分割、深度回归，它们是相互独立的事件。
推理最大似然时，最大化模型的对数似然方程。对于高斯分布，回归的对数似然方程写作：
$$\log p\left(y|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\right)\propto -\frac{1}{2{\sigma }^2}{\Vert \mathbf{y}-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2-\log \sigma$$
$\sigma$是模型的观测噪声参数，捕捉输出包含了多少噪声。然后关于模型参数$\mathbf{W}$和观测噪声$\sigma$最大化该对数似然方程。
假设模型输出包括了两个向量${\mathbf{y}}_1$和${\mathbf{y}}_2$。每个都服从高斯分布：
$$\begin{array}{rl}p({\mathbf{y}}_1,{\mathbf{y}}_2|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))=& p({\mathbf{y}}_1|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))\cdot p({\mathbf{y}}_2|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))\\ =& \mathcal{N}({\mathbf{y}}_1;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_1^2)\cdot \mathcal{N}({\mathbf{y}}_2;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_2^2)\end{array}$$
最小化多输出模型的目标损失函数$\mathcal{L}(\mathbf{W},{\sigma }_1,{\sigma }_2)$：
$$\begin{array}{rl}=& -\log p({\mathbf{y}}_1,{\mathbf{y}}_2|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))\\ \propto & \frac{1}{2{\sigma }_1^2}{\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2+\frac{1}{2{\sigma }_2^2}{\Vert {\mathbf{y}}_2-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2+\log {\sigma }_1{\sigma }_2\\ =& \frac{1}{2{\sigma }_1^2}{\mathcal{L}}_1(\mathbf{W})+\frac{1}{2{\sigma }_2^2}{\mathcal{L}}_2(\mathbf{W})+\log {\sigma }_1{\sigma }_2\end{array}$$
上式最后一行，对于第一项输出的损失，我们写作${\mathcal{L}}_1(\mathbf{W})={\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2$，第二项损失类似。
关于${\sigma }_1$和${\sigma }_2$最小化该目标函数，基于数据自适应地学习损失${\mathcal{L}}_1(\mathbf{W})$和${\mathcal{L}}_2(\mathbf{W})$。当${\sigma }_1$（变量${\mathbf{y}}_1$的噪声参数）变大时，${\mathcal{L}}_1(\mathbf{W})$会变小。当噪声${\sigma }_1,{\sigma }_2$变小时，相应的损失会变大。最后一项起到正则作用，确保噪声不会变得特别大。
该构造可以扩展到多回归任务的输出，但是分类任务的扩展更加有意思。分类似然用 softmax 函数对模型的输出做缩放：
$$p(y|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),\sigma )=\text{Softmax}(\frac{1}{{\sigma }^2}{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))$$
$\sigma$是一个大于$0$的标量。它可以看作为 Boltzmann 分布，使用${\sigma }^2$对输入做缩放。${\sigma }^2$可以是固定的，也可学习得到，值的大小决定了离散分布的平滑程度。这和不确定性有关系，如熵里面所计算的。该输出的对数似然写作：
$$\log p(\mathbf{y}=c|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),\sigma )=\frac{1}{{\sigma }^2}{f}_c^{\mathbf{W}}(\mathbf{x})-\log \sum _{c^{\prime }}\exp (\frac{1}{{\sigma }^2}{f}_{c^{\prime }}^{\mathbf{W}}(\mathbf{x}))$$
$f_c^{\mathbf{W}}(\mathbf{x})$是向量$f^{\mathbf{W}}(\mathbf{x})$的第$c$个元素。
假设模型的多个输出是由一个连续输出${\mathbf{y}}_1$和离散输出${\mathbf{y}}_2$组成，分别用高斯似然和 softmax 似然建模。该联合损失$\mathcal{L}(\mathbf{W},{\sigma }_1,{\sigma }_2)$定义为：
$$\begin{array}{rl}& =-\log p({\mathbf{y}}_1,{\mathbf{y}}_2=c|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))\\ & =-\log \mathcal{N}({\mathbf{y}}_1;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_1^2)\cdot \text{Softmax}({\mathbf{y}}_2=c;{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_2)\\ & =\frac{1}{2{\sigma }_1^2}{\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2+\log {\sigma }_1-\log p({\mathbf{y}}_2=c|{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}),{\sigma }_2)\\ & =\frac{1}{2{\sigma }_1^2}{\mathcal{L}}_1(\mathbf{W})+\frac{1}{{\sigma }_2^2}{\mathcal{L}}_2(\mathbf{W})+\log {\sigma }_1+\log \frac{{\sum }_{c^{\prime }}\exp (\frac{1}{{\sigma }_2^2}{f}_{c^{\prime }}^{\mathbf{W}}(\mathbf{x}))}{{\left[{\sum }_{c^{\prime }}\exp (f_{c^{\prime }}^{\mathbf{W}}(\mathbf{x}))\right]}^{\frac{1}{{\sigma }_2^2}}}\\ & \approx \frac{1}{2{\sigma }_1^2}{\mathcal{L}}_1(\mathbf{W})+\frac{1}{{\sigma }_2^2}{\mathcal{L}}_2(\mathbf{W})+\log {\sigma }_1+\log {\sigma }_2\end{array}$$
这里，${\mathcal{L}}_1(\mathbf{W})={\Vert {\mathbf{y}}_1-{\mathbf{f}}^{\mathbf{W}}(\mathbf{x})\Vert }^2$是${\mathbf{y}}_1$的欧式损失，${\mathcal{L}}_2(\mathbf{W})=-\log \text{Softmax}({\mathbf{y}}_2,{\mathbf{f}}^{\mathbf{W}}(\mathbf{x}))=-\log \frac{\exp (f_c^{\mathbf{W}}(\mathbf{x}))}{{\sum }_{c^{\prime }}\exp (f_{c^{\prime }}^{\mathbf{W}}(\mathbf{x}))}$是${\mathbf{y}}_2$的交叉熵损失，关于$\mathbf{W}$和${\sigma }_1,{\sigma }_2$进行优化。在最后一步变形时，作者引入了一个假设，即当${\sigma }_2\to 1$时$\frac{1}{{\sigma }_2}{\sum }_{c^{\prime }}\exp (\frac{1}{{\sigma }_2^2}{f}_{c^{\prime }}^{\mathbf{W}}(\mathbf{x}))\approx {\left[{\sum }_{c^{\prime }}\exp (f_{c^{\prime }}^{\mathbf{W}}(\mathbf{x}))\right]}^{\frac{1}{{\sigma }_2^2}}$。这样就可以简化待优化的目标函数，并能改善结果。
最后一个目标函数可看作为学习损失间的权重。${\sigma }_2$越大会降低损失${\mathcal{L}}_2(\mathbf{W})$的贡献，反之则会增大。
该组成可以扩展到其它任意的离散和连续损失函数组合，系统地学习每项损失的相对权重。该损失是平滑可微的，保证了任务权重不会收敛到$0$。而使用简单的线性加权求和会造成权重快速收敛于$0$。
在实际操作中，训练网络来预测 log variance，$s:=\log {\sigma }^2$。这样数值更加稳定，比直接回归${\sigma }^2$好，避免了除数为$0$的情况。$\exp$使我们可以回归不受约束的标量值，$\exp (-s)$保证了数值有效，一直是正数。

2.3 Scene Understanding Model

为了理解语义和几何信息，提出了一个能学习像素级回归和分类的网络。该网络是一个卷积层组成的 encoder-decoder。它包括一组卷积 encoders 组成，输出共享表征，后面是每个任务的卷积 decoder。
Encoder 目的是从相关任务中学习，输出富含信息的特征。该 encoder 基于语义分割框架 DeepLabV3。特征提取器使用的是 ResNet101 和一个增加上下文感知的 ASPP 模块。在该 encoder 中使用了空洞卷积，特征图是对原输入图像做 8 倍亚采样得到。
然后对于每个任务，划分单独的 decoders。Decoder 目的是从共享特征中学习映射到输出结果。每个 decoder 包括一个$3\times 3$卷积层，输出特征大小是$256$，然后是一个$1\times 1$卷积层回归任务的输出。

语义分割

使用交叉熵损失学习各像素的类别概率，在每个 mini-batch 内计算每个像素语义类别的损失均值。

实例分割

判断一个像素归属哪个实例最直接的方法就是计算它和实例中心点的关系。使用回归方法来做实例分割。[28] 使用目标各部分的 Hough 投票来识别实例。本文扩展了这个想法，使用每个像素点的投票。对于每个像素坐标$c_n$，学习一个实例向量${\hat{x}}_n$，它指向像素所属实例的中心点$i_n$，于是$i_n={\hat{x}}_n+c_n$。使用$L_1$损失训练回归任务，ground-truth 标签是$x_n$，$N_I$是 mini-batch 内所有像素标签的个数：${\mathcal{L}}_{Instance}=\frac{1}{|N_I|}{\sum }_{N_I}{\Vert x_n-{\hat{x}}_n\Vert }_1$。
实例分割最难的地方在于实例 mask 因为遮挡造成的撕裂。下图证明本方法可以应付这些问题，像素可以利用几何信息投票给它们所属的实例中心。为了获得每个实例的分割，需要预测实例的中心点${\hat{i}}_n$。本文将预测实例向量${\hat{x}}_n$作为 Hough 参数空间的投票，使用聚类算法找出实例的中心点。OPTICS 是一个基于密度的聚类算法，能够识别出任意个数、密度不同的聚类。它不像 k-means 算法一样假设聚类的个数，它也不像 discretized binning 算法假设实例的大小或密度。通过 OPTICS，将$c_n+{\hat{x}}_n$点聚类为若干个预测实例${\hat{i}}_n$。然后根据像素点$p_n$的预测实例向量（$c_n+{\hat{x}}_n$），分配给距离它最近的实例。

深度回归

使用$L_1$损失训练：${\mathcal{L}}_{Depth}=\frac{1}{|N_D|}{\sum }_{N_D}{\Vert d_n-{\hat{d}}_n\Vert }_1$。模型预测 inverse depth ${\hat{d}}_n$，因为它能表示无穷远的距离的点（如天空）。我们从 RGBD 传感器或双目相机或的 inverse depth 标签。若像素没有 inverse depth 标签，则损失计算时忽略。