Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference论文阅读+代码解析

本篇论文来自2020年ECCV，论文地址点这里

一. 介绍

目前现有的工作主要集中在提高多任务性能或减少多任务（MTL）模型中的参数和计算数量。本文采用了不同的方法，明确解决了MTL中的增量学习和任务干扰问题。我们表明，这两个问题都可以简单地通过重新参数化神经网络的卷积运算来解决。特别是，基于任务条件MTL方向，我们建议将每个卷积分解为一个共享部分，该共享部分充当编码公共知识的滤波器组，以及为每个任务唯一地适应该公共知识的任务特定调制器。与现有作品不同，共享部分不可训练，无法明确避免负迁移。最值得注意的是，由于每个卷积中可以引入任意数量的任务特定调制器，因此我们的模型可以逐步解决更多的任务，而不会干扰先前学习的任务。

二. 方法介绍

2.1 问题定义

给定$P$个任务以及输入的tensor$x$，我们的目标是学习一个函数$f\left(\mathbf{x};W_s,W_t^i\right)={\mathbf{y}}^i$，其中$W_s$表示为任务共享参数，$W_t^i$表示为任务特定参数。与现有方法不同的是，现有方法在网络的层级学习函数，即明确设计共享层和任务特定层，我们的目标是通过重新参数化卷积运算，并根据任务$i$调整其行为，从而在块级学习$f$，如下图b和图c所示。通过这样做，我们可以明确地解决MTL设置中的任务干扰和灾难性遗忘问题：

2.2 Reparameterizing Convolutions

我们定义一个卷积操作$f(\mathbf{x};\mathbf{w})=y$表示一个单任务的学习，如上图的(a)，$\mathbf{w}\in {\mathbb{R}}^{k^2{c}_{in}}$表示为这个卷机层的参数，其中$k$为卷积核的大小，$c_{in}$为输入通道。$\mathbf{x}\in {\mathbb{R}}^{k^2{c}_{in}}$为输入的tensor，$y$表示对应的标量。假设有$c_{out}$个filters，那么这个卷机操作可以被重新写为$f(\mathbf{x};\mathbf{W})=y$。那么对于一个单任务有：
$$f\left(\mathbf{x};W^1\right)={\mathbf{y}}^1,\dots ,f\left(\mathbf{x};W^P\right)={\mathbf{y}}^P$$
其中$W^i$以及${\mathbf{y}}^i$表示为任务特定的参数和对应的输出。我们的目标是去重新组合$f(\cdot )$：
$$f\left(\mathbf{x};W^i\right)=h\left(\mathbf{x};W_s,W_t^i\right),\forall i=1,\dots ,P$$
以便使用一系列的共享参数$W_s$以及$W_t^i$对于每一个卷积层。值得注意的是，在增加新的任务参数时，我们不需要去训练整个模型参数而只需要训练一个任务特定参数。为了找到一组近似于单个任务权重的参数$W_t^i{W}_s$，则需要最小化Frobenius泛式${\Vert W_t^i{W}_s-W^i\Vert }_F$。尽管由于其简单性，直接最小化该度量很有吸引力，但它也提出了一些主要的警告。（1） 它假设参数空间中的所有方向都以相同的方式影响任务i的最终性能，因此会受到统一的惩罚。然而，对于具有相同Frobenius范数的$W_t^i$，两个不同的解可以产生截然不同的损失。（2）该近似是针对每个卷积层独立执行的，忽略了一个层中的不准确预测可能在后续层中产生的链效应。

Reparameterized Convolution: 我们实现了Reparameterized Convolution（RC）$W_t^i{W}_s$为两个2D的卷机层，其中间不存在非线性。其中$W_s$的filter大小为k，而 $W_t^i$为一个1x1的矩阵。我们直接利用SGD对$W_t^i$进行优化而保持$W_s$不变。

Normalized Feature Fusion: 我们使用${\mathbf{w}}_t^i$表示任务特定参数$W_t^i$的一行，在训练任务特定参数时，我们将每一个分解为两个量：一个向量${\mathbf{v}}_t^i\in {\mathbb{R}}^{c_{out}}$，一个标量$g_t^i$：
$${\mathbf{w}}_t^i=g_t^i\frac{{\mathbf{v}}_t^i}{\Vert {\mathbf{v}}_t^i\Vert }$$
其中$||\cdot ||$表示为欧几里得泛式，将这个称为Normalized Feature Fusion（NFF）。与无约束相比，NFF提供了更简单的优化过程，它强制向量变为一个单位向量，并且指向最佳的优化方向。向量泛数$||{\mathbf{w}}_t^i||=g_t^i$独立学习新生成的filter的规模从而了解激活程度。归一化权重张量通常用于加快优化过程的收敛速度。

Response Initialization: 我们基于矩阵张量分解文献的发现，网络权重响应位于低维子空间。我们进一步假设这样的子空间对于多个任务是有益的，因此对于MTL设置下的网络初始化是有益的。为此，我们确定了一个有意义的响应子空间，用于生成更好的filter$W_s$，与在ImageNet上通过预先训练$W_s$直接学习的结果相比。让我们使用$W^m$表示在ImageNet上进行预训练的权重。我们使用$\bar{\mathbf{y}}$表示n个输出值$Y$的平均。我们计算协方差矩阵的特征分解$Y{Y}^T=US{U}^T$（使用SVD分解），其中$U$是列上有特征向量的正交矩阵，$S$则是相应特征值的对角矩阵。因此我们可以初始化参数$W_s$为$U^T{W}^m$，$W_t^i$为U。

三. 代码解析

代码地址点这里
本篇论文的整体代码模型都很复杂，我就根据自己的理解讲解一下主要的方法。

首先是任务特定参数的构建，在文中他描述为1x1的conv，并且为${\mathbb{R}}^{c_{out}{c}_{out}}$，其实是忽略了1x1的kernel size项，这里在每一个resnet-block中都添加了相应的项，对应到low_level_reduce。

在文中提到了NFF，这里可以发现，我们徐需要构建v和g，g是一个泛数，v的话就是直接对应原本的参数w。

最后是为了确保初始化的工作，可以发现利用已经预训练的模型进行特征值的求解和参数分解。具体的工作大家可以自行阅读源码。