PFI、BSC、PIMA的个人理解

​作为学习PFI、BSC、PIMA的笔记，方便理解与复习。

三者均来自论文"Doubly Perturbed Task Free Continual Learning"，论文链接为：点此跳转

其中：

• PFI（Perturbed Function Interpolation），扰动函数插值
• BSC（Branched Stochastic Classifiers），分支随机分类器
• PIMA（Perturbation-Induced Memory man-agement and Adaptive learning rate），扰动诱导的记忆管理与自适应学习率

一.原理

1.传统的无任务持续学习

这里考虑理论上的理想状态。

传统的无任务持续学习的在 $t$ 参数 ${\theta }_t$ 应满足的条件如下：
$$\begin{gathered} {\theta }^t\in \arg \underset{\theta }{\min }{\mathcal{L}}_t(\theta ) \\ \text{subject to }{\mathcal{L}}_{\tau }(\theta )\le {\mathcal{L}}_{\tau }({\theta }_{t-1});\forall \tau \in [0,\dots ,t-1]. \end{gathered}$$可以简单的理解为，新的参数 ${\theta }_t$ 不仅要让当前任务 $t$ 的损失函数最小，还要满足在当前参数 ${\theta }_t$ 下之前的任务 $\tau$ 的损失函数 ${\mathcal{L}}_{\tau }$ 也要比之前小。

前者保证的是可塑性，后者保证的是稳定性。

2.考虑未来样本的新型无任务持续学习

许多持续学习研究将 “独立同分布离线” 训练视为理想方案，因为它在过去、现在和未来数据上均能保持较低的损失，因此，考虑未来样本有助于提升无任务持续学习设置下的性能。

也就是说，在损失函数中，引入对未来样本的考量。需要注意的是，这里考虑的是理论上的理想状态，所以先别管未来样本的部分怎么计算，看式子是否合理即可。

①放松单一约束（针对旧样本）

将前文中对之前任务 的约束放松为单一约束：
$$\frac{1}{t}\sum _{\tau =0}^{t-1}{\mathcal{L}}_{\tau }(\theta )\le \frac{1}{t}\sum _{\tau =0}^{t-1}{\mathcal{L}}_{\tau }({\theta }_{t-1})$$也就是把之前强制的每个任务的损失都有降低，改成了之前任务损失的均值降低就行，约束放宽了。

②引入冗余参数（针对新样本）

引入一个含冗余参数 ${\theta }^{\prime }$ 的附加约束，以考虑未来样本：
$${\mathcal{L}}_{t+1}({\theta }^{\prime })\le {\mathcal{L}}_{t+1}(\theta )$$这里的 ${\theta }^{\prime }$ 是一个理论上的、辅助性的概念，它代表一个“如果看到了未来数据，模型可能会变成什么样”的理想化版本。

也就是说，在理想状况下我们见到了新样本后得到的参数 ${\theta }^{\prime }$ 在时间 $t+1$ 时的损失，肯定要比我们现在时间 $t$ 得到的参数 $\theta$ 算出来的损失要小。

③综合约束

在前文提到的①和②的改进下，利用拉格朗日乘数法，可以将传统无任务持续学习应满足的参数条件改写为：
$${\theta }^t\in \arg \underset{\theta }{\min }{\mathcal{L}}_t(\theta )+\frac{\lambda }{t}\sum _{\tau =0}^{t-1}\left({\mathcal{L}}_{\tau }(\theta )-{\mathcal{L}}_{\tau }({\theta }^{t-1})\right)+\rho \left({\mathcal{L}}_{t+1}({\theta }^{\prime })-{\mathcal{L}}_{t+1}(\theta )\right)$$其中， $\lambda >0$ 和 $\rho >0$ 为拉格朗日乘数。

式子中的三项分别对应当前样本约束，过去样本约束，未来样本约束。

至于怎么用拉格朗日乘数法得到的这个东西，这里就略过了。

3.双重扰动无任务持续学习

已知结论：

• 在无任务持续学习中，未来样本和大多数过去样本是不可用的，无法直接优化前文得到的损失函数。
• 根据之前论文的描述，分类器中的参数变化比编码器中的参数变化更为显著。

①网络拆分

设网络 $h=g\circ f$ 由编码器 $f$ 和分类器 $g$ 组成，其参数化形式为：
$$h(\cdot ;\theta )=g(f(\cdot ;{\theta }_e);\varphi )$$其中，$\theta =[{\theta }_e;\varphi ]$ 。

$h(x;\theta )$ 表示该网络为 $h$ ，其输入为 $x$ ，参数为 $\theta$ ，输出为 $h(x;\theta )$ 。

上面一段话实际上就是把原来的大网络 $h$ 拆成了两个小网络 $f$ 和 $g$ ，后半部分网络 $g$ 也就是分类器，它的输入是编码器 $f$ 的输出。

②更新后参数假设

假设对于未来样本 $(x^{t+1},y^{t+1})$ ，新参数 ${\theta }^{\prime }\approx [{\theta }_e;{\varphi }^{\prime }]$ 在编码器中几乎无变化，而在分类器中可能有显著变化。

也就是根据其他人的论文中提出的观点“分类器中的参数变化比编码器中的参数变化更为显著”，这里才假设只有分类器的参数 $\varphi$ 更新成了 ${\varphi }^{\prime }$ ，而编码器的参数 ${\theta }_e$ 几乎无变化，更新后还是原来的 ${\theta }_e$ 。

③限制范围定义

定义：

• ${\eta }_1^t:={\max }_{\tau }\Vert x^t-x^{\tau }\Vert <\infty ,\tau =0,\dots ,t-1,t+1$
• ${\eta }_2^t:={\max }_{{\varphi }^{\prime }}\Vert {\varphi }^{\prime }-{\varphi }^t\Vert$

则可得到一个前文综合约束中提到损失的替代损失。

这里的两个参数实际上分别代表的是：

• ${\eta }_1^t$ ：当前样本 $x^t$ 与包括过去的和未来的所有其他样本之间可能存在的最大差异。
• ${\eta }_2^t$ ：在下一个时间步，分类器权重 ${\varphi }^{\prime }$ 可能发生的最大变化。

总之这两个参数定义的都是范围，定义了对抗性扰动的可行域或允许的最大扰动半径。

4.命题1

假设对于所有 $t$ ，${\mathcal{L}}_t(\theta )$ 是 Lipschitz 连续的，且 ${\varphi }^{\prime }$ 通过有限梯度步骤从更新得到，因此 ${\varphi }^{\prime }$ 是有界随机变量，且 ${\eta }_2^t<\infty$（概率很高），则前文综合约束部分中提到的损失的上界为：
$${\mathcal{L}}_t(\theta )+\lambda \underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }(\theta )+\rho \underset{\Vert \Delta \varphi \Vert \le {\eta }_2^t}{\max }\underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }\left([{\theta }_e;{\varphi }^t+\Delta \varphi ]\right)$$其中 ${\mathcal{L}}_{t,\Delta }(\theta )=\ell (h(x^t+\Delta x;\theta ),y^t)$ 。

所以优化它就可以了。

①为什么一定要是上界？

当 $A(\theta )\ge B(\theta )$ 时，如果我们找到 ${\theta }^{\ast }$ 使得 $A({\theta }^{\ast })$ 很小，那么由于 $B({\theta }^{\ast })\le A({\theta }^{\ast })$ ，我们可以保证 $B({\theta }^{\ast })$ 也很小，这提供了一个性能安全网：通过让上界变小，我们迫使真实目标也必须变小。

②Lipschitz 连续

设有一个函数 $f:{\mathbb{R}}^m\to {\mathbb{R}}^n$ ，它将一个 $m$ 维向量映射为一个 $n$ 维向量。

如果存在一个常数 $L\ge 0$ （称为 Lipschitz 常数），使得对于定义域内所有的向量 $x_1,x_2\in {\mathbb{R}}^m$ ，都有：
$$\Vert f(x_1)-f(x_2)\Vert \le L\cdot \Vert x_1-x_2\Vert$$那么，函数 $f$ 被称为是 Lipschitz 连续的。

③第二项怎么来的？

第二项的公式为：

$\lambda {\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }(\theta )$

它由过去约束项：

$\frac{\lambda }{t}{\sum }_{\tau =0}^{t-1}\left({\mathcal{L}}_{\tau }(\theta )-{\mathcal{L}}_{\tau }({\theta }^{t-1})\right)$

转化而来，接下来我会讲解转化的步骤。

根据 Lipschitz 连续性假设，损失函数 ${\mathcal{L}}_{\tau }(\theta )=\ell (h(x_{\tau };\theta ),y_{\tau })$ 关于输入 $x$ 是 Lipschitz 连续的。即，存在常数 $L_x>0$ ，使得对于所有 $\theta$ ，有：

$|{\mathcal{L}}_{\tau }(\theta )-{\mathcal{L}}_t(\theta )|\le {\mathcal{L}}_x\Vert x_{\tau }-x_t\Vert$

这个假设是合理的，因为神经网络通常满足局部 Lipschitz 连续性。

因为损失是一个标量，所以原式子可以转化为：

${\mathcal{L}}_{\tau }(\theta )-{\mathcal{L}}_t(\theta )\le {\mathcal{L}}_x\Vert x_{\tau }-x_t\Vert$

移项可得：

${\mathcal{L}}_{\tau }(\theta )\le {\mathcal{L}}_t(\theta )+{\mathcal{L}}_x\Vert x_{\tau }-x_t\Vert$

带入 ${\mathcal{L}}_{\tau }(\theta )=\ell (h(x_{\tau };\theta ),y_{\tau })$ 可以得到：

${\mathcal{L}}_{\tau }(\theta )=\ell (h(x_{\tau };\theta ),y_{\tau })\le \ell (h(x_t;\theta ),y_t)+{\mathcal{L}}_x\Vert x_{\tau }-x_t\Vert$

因为 $\Vert x_{\tau }-x_t\Vert \le {\eta }_1^t$ ，所以在 $x^t$ 的 ${\eta }_1^t$-邻域内最坏情况的损失是该损失一个更紧的上界：

${\mathcal{L}}_{\tau }(\theta )\le {\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}\ell (h(x_t+\Delta x;\theta ),y_t)={\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }(\theta )$

在这个公式中， $x_t+\Delta x$ 的范围其实就是 $x_{\tau }$ 的范围，所以可以理解成小于等于一个所有可能取值中最大的取值，这也是这个取值被称为最坏情况损失的原因。

这个上界的意义是：如果一个模型对当前样本 $x^t$ 的所有微小扰动版本都具有低损失，那么它很可能对那些与 $x^t$ 相似的过去样本也具有低损失。

因此，过去所有 $t$ 个样本损失和的上界为：

${\sum }_{\tau =0}^{t-1}{\mathcal{L}}_{\tau }(\theta )\le {\sum }_{\tau =0}^{t-1}{\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }(\theta )=t\cdot {\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }(\theta )$

也就是说，既然每个过去样本的上界都是右边那个与 $\tau$ 无关的最坏情况，那么 $t$ 个过去样本的上界自然也就是单个过去样本的 $t$ 倍。

带入我们需要转化的过去约束项 $\frac{\lambda }{t}{\sum }_{\tau =0}^{t-1}\left({\mathcal{L}}_{\tau }(\theta )-{\mathcal{L}}_{\tau }({\theta }^{t-1})\right)$ ，我们就可以得到：

$\frac{\lambda }{t}{\sum }_{\tau =0}^{t-1}({\mathcal{L}}_{\tau }(\theta )-{\mathcal{L}}_{\tau }({\theta }_{t-1}))\le \lambda \left({\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }(\theta )-\frac{1}{t}{\sum }_{\tau =0}^{t-1}{\mathcal{L}}_{\tau }({\theta }_{t-1})\right)$

又因为 $-\frac{1}{t}{\sum }_{\tau =0}^{t-1}{\mathcal{L}}_{\tau }({\theta }_{t-1})$ 是一个常数，不影响 $\theta$ 的优化方向，所以可以忽略掉（因为使用梯度优化训练模型时，常数的导数为0）。

因此，过去约束项可由上界项近似：
$$\frac{\lambda }{t}\sum _{\tau =0}^{t-1}\left({\mathcal{L}}_{\tau }(\theta )-{\mathcal{L}}_{\tau }({\theta }_{t-1})\right)\stackrel{\text{Proxy}}{⟶}\lambda \underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }(\theta )$$

④第三项怎么来的？

第三项的公式为：

$\rho {\max }_{\Vert \Delta \varphi \Vert \le {\eta }_2^t}{\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }\left([{\theta }_e;{\varphi }^t+\Delta \varphi ]\right)$

它由未来约束项：

$\rho \left({\mathcal{L}}_{t+1}({\theta }^{\prime })-{\mathcal{L}}_{t+1}(\theta )\right)$

​转化而来，接下来我会讲解转化的步骤。

未来约束项是希望未来参数 ${\theta }^{\prime }$ 下的损失比当前参数 $\theta$ 下的损失小，也就是模型越训练越好，表达形式就是两者损失相减尽可能小。但这样的表达就会带来一个问题，那就是为了最小化这个未来约束项，模型可能会倾向于让 ${\mathcal{L}}_{t+1}(\theta )$ 变大，这与我们训练模型的初衷相悖。

所以一个更合理的优化目标是，不强求未来的损失一定更小，只希望模型对未来的参数变化不敏感。

即，当参数从 ${\varphi }^t$ 变为 ${\varphi }^{\prime }$ 时，模型对于当前样本 $x^t$ 的预测不应剧烈变化（保持稳定性），根据参数变化分解假设， ${\theta }^{\prime }\approx [{\theta }_e;{\varphi }^{\prime }]$ ，且 $\Vert {\varphi }^{\prime }-{\varphi }^t\Vert \le {\eta }_2^t$ ，这个目标可以通过最小化以下项实现：

${\max }_{\Vert \Delta \varphi \Vert \le {\eta }_2^t}{\mathcal{L}}_t\left([{\theta }_e;{\varphi }^t+\Delta \varphi ]\right)$

与过去样本类似，我们依然用当前输入 $x^t$ 的扰动来近似未来输入。即，假设未来样本落在 $x^t$ 的 ${\eta }_1^t$-邻域内：

${\mathcal{L}}_{t+1}(\theta )=\ell (h(x_{t+1};\theta ),y_{t+1})\le {\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }(\theta )$

叠加未来参数与未来输入的变化，就得到了如下所示的双重扰动项：

${\max }_{\Vert \Delta \varphi \Vert \le {\eta }_2^t}{\max }_{\Vert \Delta x\Vert \le {\eta }_1^t}{\mathcal{L}}_{t,\Delta }\left([{\theta }_e;{\varphi }^t+\Delta \varphi ]\right)$

最小化这个项，意味着无论参数在 ${\eta }_2^t$ 范围内如何变化，也无论输入在 ${\eta }_1^t$ 范围内如何变化，模型的损失都很小。这直接促进了权重空间的平坦性（对 $\Delta \varphi$ ）和输入空间的平坦性（对 $\Delta x$ ），从而满足了对未来适应性的要求。

因此，未来约束项可由上界项近似：
$$\rho \left({\mathcal{L}}_{t+1}({\theta }^{\prime })-{\mathcal{L}}_{t+1}(\theta )\right)\stackrel{\text{Proxy}}{⟶}\rho \underset{\Vert \Delta \varphi \Vert \le {\eta }_2^t}{\max }\underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }\left([{\theta }_e;{\varphi }^t+\Delta \varphi ]\right)$$

二.扰动函数插值(PFI)

扰动函数插值（Perturbed Function Interpolation，PFI）旨在为命题1中提到的损失上界的第二项提供一个高效的优化方法，原式子如下所示：
$$\underset{\theta }{\min }\lambda \underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }(\theta )$$直接计算该式中的最大化问题（即寻找对抗样本）需要额外的梯度步骤，计算成本高昂，不适合在线学习。因此，作者提出了PFI作为一种高效的近似方法。

PFI的核心思想是在函数空间中进行扰动和插值，而不是直接对输入 $x$ 进行扰动。具体步骤如下：

1.分层扰动特征

首先，随机选择编码器 $f$ 中的第 $l$ 层，设 $f_{0:l}$ 为从输入到第 $l$ 层隐藏表示的映射， ${\mathrm{f}}_l=f_{0:l}(x)$ 即为该层的特征。然后，对该特征进行扰动：
$${\tilde{\mathrm{f}}}_l=(1+{\mu }_m{\mathbf{\xi }}_m)\odot {\mathrm{f}}_l+{\mu }_a{\mathbf{\xi }}_a$$其中：

• ${\mathbf{\xi }}_m,{\mathbf{\xi }}_a\sim \mathcal{N}(0,\mathbf{I})$ 是独立采样的高斯噪声。
• $\odot$ 表示逐元素相乘（Hadamard积）。
• ${\mu }_m$ 和 ${\mu }_a$ 是控制扰动强度的系数，它们与当前类别 $y$ 的历史平均损失 ${\bar{\ell }}_y$ 有关：
  $${\mu }_m={\sigma }_m{\tan }^{-1}({\bar{\ell }}_y),{\mu }_a={\sigma }_a{\tan }^{-1}({\bar{\ell }}_y)$$

这里 ${\sigma }_m,{\sigma }_a$ 是超参数， ${\bar{\ell }}_y$ 通过指数移动平均进行更新，这种设计使得对于损失较高的类别，扰动强度更大。

PS： ${\bar{\ell }}_y$ 的更新

原文指出，实际上的 ${\bar{\ell }}_y$ 应由以下式子给出：
ℓ ˉ y = ∑ τ : y τ = y ℓ ( h ( x τ ; θ τ ) , y τ ) ∣ { τ : y τ = y } ∣ \bar{\ell}_y = \frac{\sum_{\tau: y_\tau = y} \ell(h(x_\tau; \theta_\tau), y_\tau)}{|\{\tau: y_\tau = y\}|} ℓˉy​=∣{τ:yτ​=y}∣∑τ:yτ​=y​ℓ(h(xτ​;θτ​),yτ​)​

但受限于持续学习场景，文中明确说为了避免计算这个真实的算术平均，在实际代码中使用了指数移动平均来更新 ${\bar{\ell }}_y$ 。

文中并没有直接说明 ${\bar{\ell }}_y$ 的更新公式，猜测使用一般的指数移动平均公式，如下所示：
$$(\text{这是猜测的公式}){\bar{\ell }}_y^{\text{new}}=\beta \cdot {\bar{\ell }}_y^{\text{old}}+(1-\beta )\cdot {\ell }_{\text{current}}$$

2.特征插值

接着，对两个不同样本 $({\mathrm{x}}_i,y_i)$ 和 $({\mathrm{x}}_j,y_j)$ 经过上述扰动后得到的特征 ${\tilde{\mathrm{f}}}_i^l$ 和 ${\tilde{\mathrm{f}}}_j^l$ 进行插值：
$$({\tilde{\mathrm{f}}}_l,\tilde{y})=\left(\zeta {\tilde{\mathrm{f}}}_i^l+(1-\zeta ){\tilde{\mathrm{f}}}_j^l,\zeta y_i+(1-\zeta )y_j\right)$$其中 $\zeta \sim Beta(\alpha ,\beta )$ 。

PS： Beta 分布

Beta 分布的概率密度函数（PDF）由两个正参数 $\alpha$ 和 $\beta$ 控制：
$$f(p;\alpha ,\beta )=\frac{p^{\alpha -1}(1-p{)}^{\beta -1}}{B(\alpha ,\beta )}$$其中 $B(\alpha ,\beta )$ 是Beta函数，它主要作为一个标准化常数，确保曲线下的总面积为1。

其中：

• $\alpha$ ：可以理解为 “成功的次数” 或 “先验的正面次数”。
• $\beta$ ：可以理解为 “失败的次数” 或 “先验的反面次数”。

通过调整 $\alpha$ 和 $\beta$，Beta分布可以呈现出极其丰富的形态：

• 当 $\alpha =\beta =1$ 时，Beta分布退化为 $[0,1]$ 上的均匀分布，这表示我们对 $p$ 没有任何先验信息，认为所有值都是等可能的。这正是在PFI中使用的默认设置（$\alpha =\beta =1$），意味着插值权重 $\zeta$ 在0和1之间是均匀随机的。
• 当 $\alpha >1,\beta >1$ 时，分布呈单峰状，峰值在 $p=\frac{\alpha -1}{\alpha +\beta -2}$。
• 当 $\alpha <1,\beta <1$ 时，分布呈U形，意味着极端值（接近0或1）更可能出现。

3. 前向传播计算损失

最后，将插值后的特征 ${\tilde{\mathrm{f}}}^l$ 送入网络的剩余部分 $f_{(l+1):L}$ ，得到最终输出，并计算损失：
$${\tilde{\mathcal{L}}}_{\tau }(\theta )=\ell \left(g(\tilde{f}(x^{\tau })),y^{\tau }\right)$$这个损失 ${\tilde{\mathcal{L}}}_{\tau }(\theta )$ 就被用作原始优化目标中对抗性输入扰动项的高效近似。

4.理论依据(命题2)

命题2指出，在一定的假设下（如小扰动范围 $ϵ$ ，以及将多分类视为多个二分类问题等），PFI损失 ${\tilde{\mathcal{L}}}_{\tau }(\theta )$ 是原始对抗损失的一个上界：
$${\tilde{\mathcal{L}}}_{\tau }(\theta )\ge \underset{\Vert \delta \Vert \le ϵ}{\max }\ell (h(x^{\tau }+\delta ;\theta ),y^{\tau })+{\mathcal{L}}_{\tau }^{\text{reg}}+{ϵ}^2{\psi }_1(ϵ)$$其中，当 $ϵ$ 很小时，正则项 ${\mathcal{L}}_{\tau }^{\text{reg}}$ 和高阶项 ${ϵ}^2{\psi }_1(ϵ)$ 可以忽略，使得PFI损失主要主导了对抗损失。因此，最小化PFI损失就有助于最小化原始的对抗性损失，从而实现平滑输入损失景观的目的。

命题2还引用了很多其他论文中的正则性假设，所以略过该命题的证明过程。

总之，它为PFI的有效性提供了理论支持。

三.分支随机分类器(BSC)

分支随机分类器（Branched Stochastic Classifiers，BSC）是论文中 “双重扰动” 的另一半，专门用于高效地处理权重扰动。

在命题1给出的上界中，第三项是权重扰动项：
$$\underset{\Vert \Delta \varphi \Vert \le {\eta }_2^t}{\max }\underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }([{\theta }_e;{\varphi }^t+\Delta \varphi ])$$与输入扰动一样，直接寻找这个对抗性的权重扰动 $\Delta \varphi$ 在计算上是不可行的。

BSC的核心思想是：我们不去寻找那个“最坏”的权重扰动，而是通过维护一个权重的概率分布，并从这个分布中采样，来近似模拟各种可能的权重扰动。 这种方法被认为能够平滑权重的损失景观。

BSC的实现包含两个关键点：权重平均和多分支推理。

1.权重平均

作者不对整个网络做扰动，而是只针对分类器 $g$ 的权重，因为他们观察到在持续学习中分类器的变化比编码器更显著。

一个分类器 $g$ 的权重 $\varphi =[{\varphi }_1,{\varphi }_1,...,{\varphi }_C]$ ，其中，BSC为每个类 $c$ 的分类器权重 ${\varphi }_c$ ，维护一个随时间演变的高斯分布 $\mathcal{N}\left({\bar{\varphi }}_c^t,{\Sigma }_c^s\right)$

①如何更新均值 ${\bar{\varphi }}_c^t$?

这是一个移动平均的过程，每 $P$ 个迭代步，更新一次：
$${\bar{\varphi }}_c^t=\frac{k_c{\bar{\varphi }}_c^{(t-P)}+{\varphi }_c^t}{k_c+1}$$其中， $k_c=\lfloor (t-T_c)/P\rfloor$ ， $T_c$ 是首次遇到类别 $c$ 的时间，这相当于对类别 $c$ 的权重历史取平均，越近的权重占比越高。

②如何更新协方差 ${\Sigma }_c^s$ ?

原文中，协方差矩阵 ${\Sigma }_c^s$ 的更新公式如下：
$${\Sigma }_c^s=\frac{1}{2}{\Sigma }_{\text{diag},t}^c+\frac{D_{t,c}^T{D}_{t,c}}{2(A-1)}$$这个公式融合了两种不确定性信息。

对角项部分 ${\Sigma }_{\text{diag},t}^c$ 捕捉的是权重本身数值的波动，它的定义为：
$${\Sigma }_{\text{diag},t}^c=\text{diag}\left(({\varphi }_c^t{)}^2-({\bar{\varphi }}_c^t{)}^2\right)$$

• $\text{diag}(\mathbf{v})$ 表示一个对角线由向量 $\mathbf{v}$ 构成的对角矩阵。
• $(\cdot {)}^2$ 表示逐元素平方。
• $({\varphi }_c^t{)}^2$ 是当前权重向量的逐元素平方。
• $({\bar{\varphi }}_c^t{)}^2$ 是平均权重向量的逐元素平方。
• $({\varphi }_c^t{)}^2-({\bar{\varphi }}_c^t{)}^2$ 类似于方差公式 $\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2$ 的向量形式，它衡量了当前权重 $({\varphi }_c^t{)}^2$ 与历史平均权重 $({\bar{\varphi }}_c^t{)}^2$ 在每个维度上的偏离程度。
  如果某个权重维度的当前值与平均值相差很大，这个差值就会很大，表示这个维度的权重不确定性高。

所以， ${\Sigma }_{\text{diag},t}^c$ 是一个对角矩阵，其对角线上的每个元素代表了对应权重维度的历史波动性。

低秩项部分 $\frac{{\mathbf{D}}_{t,c}^T{\mathbf{D}}_{t,c}}{A-1}$ 捕捉的是权重更新方向的趋势，它记录了权重向量在训练过程中的“运动轨迹”。

• ${\mathbf{D}}_{t,c}$ 是一个大小为 $q\times A$ 的矩阵，其中 $q$ 是权重向量 ${\varphi }_c$ 的维度， $A$ 是一个超参数，表示保留的历史步数。
  它的每一列，是历史上某一个时刻的权重与当时平均权重的差值向量（即 ${\varphi }_c-{\bar{\varphi }}_c$ ）。
  它通过一个滑动窗口来更新：
  $${\mathbf{D}}_{t,c}=\left[{\mathbf{D}}_{t-P,c}[2:A]({\varphi }_c^t-{\bar{\varphi }}_c^t)\right]$$这个操作可以理解为：丢掉 ${\mathbf{D}}_{t-P,c}$ 中最老的一列（即第1列），并将最新的差值向量 $({\varphi }_c-{\bar{\varphi }}_c)$ 作为新的一列加到矩阵末尾，这样就可以保证 ${\mathbf{D}}_{t,c}$ 始终保存着最近 $A$ 步的权重差值向量。
• 分子 ${\mathbf{D}}_{t,c}^T{\mathbf{D}}_{t,c}$ 乘积得到的是一个 $A\times A$ 的矩阵， 称为格拉姆矩阵。
  它的每个元素是两个历史差值向量的内积，反映了不同时刻权重变化方向之间的相关性。
• 分母 $A-1$ 可以看作是一个缩放因子，目的是对这个基于经验估计的协方差进行归一化， $A-1$ 是计算样本协方差时常用的自由度校正。

所以， $\frac{{\mathbf{D}}_{t,c}^T{\mathbf{D}}_{t,c}}{A-1}$ 这一项，通过保留最近 $A$ 步的权重更新方向，捕捉了权重在向量空间中的运动模式。 如果权重持续朝某个方向更新，那么这一项会在该方向上给出较大的协方差。

最终的协方差 ${\Sigma }_c^s$ 是上述两部分的加权平均（各占 $1/2$ 权重）。

2.多分支推理

为了进一步增强扰动效果，作者不止维护一个分类器，而是引入了 $N$ 个并行的线性分类器。

• 训练：每个分类器独立地进行训练。
• 推理：对于每个分类器 $n$ ，在推理时，从其对应的权重分布 $\mathcal{N}\left({\bar{\varphi }}_c^t,{\Sigma }_c^s\right)$ 中采样 $R$ 次权重 $\phi$ ，进行随机预测：
  $$p_n^t=\frac{1}{R}\sum _{r=1}^R\text{softmax}\left(g\left(f(x;{\theta }_e^t);\phi \right)\right),\phi \sim \mathcal{N}({\bar{\varphi }}_n^t,{\Sigma }_{n,t})$$
• 最终决策：将所有 $N$ 个分类器的预测结果进行平均：
  $${\bar{p}}^t=\frac{1}{N}\sum _{n=1}^N{p}_n^t$$BSC的作用就是将输入数据转化为最终的的输出 ${\bar{p}}^t$ ，此时计算损失：
  $$\mathcal{L}=\ell ({\bar{p}}^t,y)$$作为原始优化目标中权重扰动项的高度近似。

四.扰动诱导的记忆管理与自适应学习率(PIMA)

扰动诱导的记忆管理与自适应学习率(Perturbation-Induced Memory Management and Adaptive Learning Rate，PIMA)是论文的“调度中心”，它利用前面PFI和BSC产生的副产品，来智能地管理记忆库和调整学习率。

1.互信息

作者使用互信息来衡量模型对于一个样本 $\mathbf{x}$ 的预测不确定性。其计算方式如下：
$$\mathbb{I}(x;{\varphi }^t)=\mathbb{H}({\bar{p}}^t)-\frac{1}{N}\sum _{n=1}^N\mathbb{H}(p_n^t)$$其中：

• ${\bar{p}}^t=\frac{1}{N}{\sum }_{n=1}^N{p}_n^t$ 是 $N$ 个BSC分类器的平均预测概率分布。
• $p_n^t$ 是第 $n$ 个BSC分类器的预测概率分布。
• $\mathbb{H}(\cdot )$ 是计算概率分布的熵。熵越大，表示分布越均匀，不确定性越高。

这个公式的直观解释是：

• $\mathbb{H}({\bar{p}}^t)$ ：衡量总体不确定性（模型整体上对这个样本有多不确定）。
• $\frac{1}{N}{\sum }_{n=1}^N\mathbb{H}(p_n^t)$：衡量平均的认知不确定性（每个独立的分类器自身有多不确定）。
• 互信息 $\mathbb{I}$ ：总体不确定性减去平均认知不确定性。它捕捉的是各个分类器之间的“分歧”。

为什么用互信息？

• 如果所有分类器都很不确定，但它们的预测结果一致（比如都认为是A类），那么互信息很低。这说明样本可能很简单（送分题，都做得对），或者很难（易错题，都选了同一个错误选项），但模型内部没有分歧。
• 如果分类器之间预测结果分歧很大（有的认为是A类，有的认为是B类），那么互信息就会很高。这通常意味着样本位于决策边界附近，是对模型最有价值的样本。

2. 基于不确定性的记忆管理

该记忆管理的目的是维护一个高质量的记忆库 ${\mathcal{M}}_t$ ，使其中的样本能最有效地防止遗忘，其中数据的选择策略如下：

• 平衡类别：首先保证记忆库中各类别的样本数量基本平衡。
• 维护互信息：为记忆库中的每个样本 $(\mathbf{x},y)$ 维护一个累积互信息 $H_t(\mathbf{x},y)$ ，通过指数移动平均更新。这代表了该样本历史上引起的模型分歧程度的平均值，其中累积互信息的公式如下：
  $$H_t(x,y)=(1-\gamma )H_{t-1}(x,y)+\gamma \mathbb{I}(x;{\varphi }^t)\gamma \in (0,1)$$
• 更新规则：当需要为新样本腾出空间时，找到记忆库中样本数量最多的类别 $\hat{y}$ ，比较当前流样本 ${\mathbf{x}}^t$ 的即时互信息 $\mathbb{I}({\mathbf{x}}^t;{\varphi }^t)$ 与记忆库中 $\hat{y}$ 类所有样本的累积互信息，如果当前样本引起的分歧比库中某些“老”样本还大（即它的不确定性/价值更高），那么就替换掉库中那个累积互信息最小的样本，否则跳过。

其中的逻辑就是优先保留那些持续让模型产生高分歧的边界样本，因为这些样本对于巩固决策边界、防止遗忘最为重要。

3. 基于不确定性的自适应学习率

该自适应学习率的目标是根据模型的学习状态动态调整学习率 ${\eta }_t$ ，其调整策略如下：

• 每当分类器平均权重 ${\bar{\varphi }}_c^t$ 更新时，检查整个记忆库 ${\mathcal{M}}_t$ 的平均累积互信息变化。
• 如果 ${\mathbb{E}}_{(\mathbf{x},y)\sim {\mathcal{M}}_t}[H_t(\mathbf{x},y)]>{\mathbb{E}}_{(\mathbf{x},y)\sim {\mathcal{M}}_t}[H_{t-1}(\mathbf{x},y)]$ ，说明模型对记忆库样本的总体分歧在增加。模型可能正处于一个不稳定的学习阶段（比如正在适应新的任务边界）。此时，调低学习率（乘以一个因子 $1/\omega ,\omega >1$），采取更保守的更新步伐，避免破坏已学知识。
• 反之，如果总体分歧在下降，说明模型状态更稳定，可以调高学习率（乘以 $\omega$ ），加速学习。

整体逻辑就是根据记忆库的整体不确定性作为指标，在不稳定时使用小学习率保守更新，预防灾难性遗忘，稳定时使用大学习率，提高训练速率。

五.总结

DPCL框架的核心组件主要围绕如何通过双重扰动机制解决持续学习中的稳定性-可塑性困境。

1.核心思路

传统持续学习的目标是优化：
$${\theta }^t\in \arg \underset{\theta }{\min }{\mathcal{L}}_t(\theta )$$但要受到过去任务性能不下降的约束。论文将其转化为考虑未来样本的优化问题，并推导出上界：
$${\mathcal{L}}_t(\theta )+\lambda \underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }(\theta )+\rho \underset{\Vert \Delta \varphi \Vert \le {\eta }_2^t}{\max }\underset{\Vert \Delta x\Vert \le {\eta }_1^t}{\max }{\mathcal{L}}_{t,\Delta }([{\theta }_e;{\varphi }^t+\Delta \varphi ])$$其中第二项对应输入扰动，第三项对应权重扰动。

2.三大组件的作用

① PFI：处理输入扰动

训练阶段的核心做法：

• 特征扰动与插值：在训练的每次前向传播中，随机选择网络中间层，对特征表示进行噪声注入 ${\tilde{\mathbf{f}}}^l=(1+{\mu }_m{\mathbf{\xi }}_m)\odot {\mathbf{f}}^l+{\mu }_a{\mathbf{\xi }}_a$ 和插值混合 $({\tilde{\mathbf{f}}}^l,\tilde{y})=(\zeta {\tilde{\mathbf{f}}}_i^l+(1-\zeta ){\tilde{\mathbf{f}}}_j^l,\zeta y_i+(1-\zeta )y_j)$ ，生成增强的训练样本。

效果：通过创造困难的虚拟样本，迫使模型学习对输入变化不敏感的表示，从而实现输入损失景观的平滑化。

② BSC：处理权重扰动

训练阶段的核心做法：

• 维护分布：为每个类别 $c$ 在每个分类器中的权重 ${\varphi }_{n,c}$ 维护一个时变的高斯分布 $\mathcal{N}({\bar{\varphi }}_{n,c}^t,{\Sigma }_{n,c}^s)$。其参数（均值 $\bar{\varphi }$ 和协方差 $\Sigma$）按照对应公式在训练过程中迭代更新。
• 采样与集成训练：在训练的每次前向传播中，对于每个分类器 $n$，从其分布中采样权重 ${\phi }_n$，计算输出 $p_n^t$，然后将 $N$ 个分类器的输出进行平均，得到 ${\bar{p}}^t$，并基于此计算损失 $\ell ({\bar{p}}^t,y)$。

效果：这个训练机制强制优化过程去寻找一个平坦的权重损失景观。因为为了最小化集成后的损失 $\ell ({\bar{p}}^t,y)$，模型参数必须对每个分类器在其分布内的权重扰动都保持鲁棒。

③ PIMA：动态资源管理

训练阶段的核心做法：

• 不确定性量化：基于BSC的分类器输出计算互信息 $\mathbb{I}(x;{\varphi }^t)=\mathbb{H}({\bar{p}}^t)-\frac{1}{N}{\sum }_{n=1}^N\mathbb{H}(p_n^t)$ 作为样本价值的衡量标准。
• 记忆管理：维护样本的累积互信息历史，在更新记忆时优先保留引起高分歧的边界样本。
• 学习率调整：根据记忆库整体不确定性的变化趋势，动态调整学习率：不确定性增加时降低学习率，不确定性减少时提高学习率。

效果：基于模型的学习状态智能分配资源，在稳定性和可塑性之间实现动态平衡。

3.框架特点

• 统一范式：PFI和BSC都通过在训练过程的前向传播中引入特定扰动来构建代理损失项。这个代理损失项（PFI损失或BSC损失）是对原始复杂理论目标（对抗性扰动项）的显式且高效的近似。
• 高效近似：PFI通过前向传播中的随机扰动与插值，BSC通过维护权重分布并采样，以前向过程的计算开销替代了传统对抗训练中迭代求解最大化问题（如PGD）的巨额开销，从而适用于计算资源受限的在线学习场景。
• 协同作用：三个组件形成了一个紧密协作的闭环。PFI 和 BSC 共同作为“扰动引擎”，分别平滑输入和权重空间的损失景观；而 PIMA 则作为“智能调度器”，其决策完全依赖于BSC在训练中产生的不确定性信号（互信息），据此动态管理记忆和调整学习率，反过来又提升了PFI和BSC的训练效率。

该框架的核心价值在于：通过重新设计模型的前向计算过程，将复杂的持续学习理论目标转化为可高效优化的工程实践。