【Incremental Learning】Exploring Example Influence in Continual Learning in NIPS 2022 个人理解

一、简介

题目： Exploring Example Influence in Continual Learning
会议： NIPS 2022
任务： 数据/任务依次到来，新的数据/任务到来后旧的就不再可获取，要求模型在学习新数据/任务的同时不要忘记旧数据/任务。
Idea： 作者沿用了基于回放（Replay/Rehearsal）的增量学习（Incremental Learning, IL）策略，引入影响函数（Influence Function, IF）评估样本对模型稳定性（记忆旧知识的能力）和可塑性（学习新知识的能力）的影响，并据此更新模型和确定样本的去留（留下的样本会在更新模型时再次使用，即回放）。
Note： IL = Continual Learning。

如图，作者用IF衡量样本具有正面还是负面作用，并据IF更新模型和选取样本。

二、详情

1. 样本对稳定性和可塑性的影响

假设当前为第$t$个任务，第$t$个任务时模型在第$k$个任务上的稳定性（$S_t^k$）和对第$t$个任务的可塑性（$P_t$），定义如下：

其中，$k<t$，${\mathcal{D}}_k^{\text{tst}}$表示第$k$个任务的测试集，${\mathcal{D}}_t^{\text{trn}}$和${\mathcal{D}}_t^{\text{tst}}$表示第$t$个任务的训练集和测试集，${\theta }_{t-1}$和${\theta }_k$为第$t-1$个任务和第$k$个任务时模型的参数。$P({\mathcal{D}}_1|\theta ,{\mathcal{D}}_2)$表示已有参数为$\theta$模型在数据集${\mathcal{D}}_2$上训练后在数据集${\mathcal{D}}_1$上的精度。$p(\mathcal{D}|\theta )$则为参数为$\theta$的模型在数据集$\mathcal{D}$上的精度。

直白地说，稳定性就是模型更新前后在同一历史测试集上的精度下降程度，可塑性就是模型更新前后在当前测试集上的精度提升程度。

于是，在第$t$个训练任务中，训练样本$x^{\text{trn}}$对于模型的稳定性和可塑性的影响被定义如下：

其中，${\mathcal{D}}_t^{\text{trn}}/x^{\text{trn}}$是要从${\mathcal{D}}_t^{\text{trn}}$中去掉一个样本$x^{\text{trn}}$。

直白地说，影响就是训练样本$x^{\text{trn}}$在被去掉前后模型性能的变化。

显然，将所有训练样本都进行一次影响判断是不切实际的，因为成本极高，于是这种对性能的影响被使用损失变化来近似：

其中，$ϵ$是对训练样本对加权扰动，更具体的近似过程在下一节介绍。

2. 影响函数

2.1 影响函数用于表达稳定性和可塑性

对于一个批次的训练数据$\mathcal{B}$来说，模型参数更新是向着损失最小化的方向，即：

用损失变化来表达影响便是IF，它给训练样本$x^{\text{trn}}\in \mathcal{B}$增加一个小的扰动$ϵ$：

进一步地，对于$\mathcal{B}$，则有：

其中，$\text{L}$和$\text{E}$为损失向量和扰动向量。参数确定之后，就可以像上一节最后那样对损失求偏导得到近似的样本影响：

如果$I({\mathcal{D}}^{\text{trn}},x^{\text{trn}})>0$，则样本$x^{\text{trn}}$对模型的影响是负面的，反正则是正面的。

但是，此处的Hessian矩阵$\text{H}={\nabla }_{\theta }^2\ell (\mathcal{B},\hat{\theta })$的逆计算起来相当复杂，于是作者提出MetaSP来解决该问题，详情见下一节。

2.2 使用MetaSP模拟影响函数

MetaSP有两个关键步骤：
（1） 伪更新：

其中，${\mathcal{B}}_{old}$和${\mathcal{B}}_{new}$为一个批次的新任务和旧任务的数据（因为作者采取的是回放策略，所以模型训练时之前保存下来的旧任务的数据也是可获取的）。
（2） 计算样本影响：

其中，${\mathcal{V}}_{old}$和${\mathcal{V}}_{new}$分别为从缓冲区预存的旧任务数据和当前可获取的新任务数据中采样所得。$\text{I}({\mathcal{V}}_{old},\mathcal{B})$和$\text{I}({\mathcal{V}}_{new},\mathcal{B})$中的各元素即为样本对模型的稳定性和可塑性的影响，正值表示负面影响，反之为正面影响。

3. 使用影响函数进行增量学习

我们希望将稳定性和可塑性，即$\text{I}({\mathcal{V}}_{old},\mathcal{B})$和$\text{I}({\mathcal{V}}_{new},\mathcal{B})$，进行较好的权衡，这形成一个多目标优化问题：

受多重梯度下降算法启发，根据KKT条件，作者又将该问题转为一个最小范数问题：

于是，有：

最终，最优解集所形成的帕累托前沿可表示如下：

这便是最终经过权衡后的样本影响，它在下面两节均有使用。

3.1 模型更新

从第7-9行可以看到，学习新任务时，模型参数的更新过程不仅会考虑梯度，还会考虑样本对稳定性和可塑性的综合影响，以此提升性能。

3.2 样例选择

在第2行使用上面的算法3更新参数后，在第3行作者使用K-Means对新任务的训练数据进行聚类，聚类数量为$\frac{\mathcal{M}}{t}$，之后在第4行对各簇中样本在不同批次的影响$I^{\ast }(x)$求期望$\mathbb{E}(I^{\ast }(x))$并排序，然后在第5行对缓冲区$\mathcal{M}$中的样本也进行同样的排序，这样每个簇和缓冲区中的样本都各自按照影响值做了排序，最后在第6-9行用各簇的第一名替换掉$\mathcal{M}$中最后$\frac{\mathcal{M}}{t}$名。