持续学习：（Elastic Weight Consolidation, EWC）Overcoming Catastrophic Forgetting in Neural Network

最新推荐文章于 2025-04-13 16:14:23 发布
最新推荐文章于 2025-04-13 16:14:23 发布
阅读量1w 收藏 69
点赞数 31
CC 4.0 BY-SA版权
分类专栏： 持续学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/firehuiplane/article/details/107448043
EWC是一种通过控制权重优化来防止深度学习模型在连续学习新任务时发生灾难性遗忘的方法。它通过在权重上添加正则化项，使关键权重变化较小，保持在旧任务的低误差区域。核心思想包括选择重要权重，应用Fisher信息矩阵来量化权重的重要性，并使用拉普拉斯近似来拟合高斯分布。EWC的损失函数考虑了每个权重对旧任务的重要性，平衡新任务学习和旧任务保留。

EWC目录

概述

原论文地址：https://arxiv.org/pdf/1612.00796.pdf

本博客参考了以下博客的理解
地址：https://blog.csdn.net/dhaiuda/article/details/103967676/

本博客仅是个人对此论文的理解，若有理解不当的地方欢迎大家指正。

本篇论文讲述了一种通过给权重添加正则，从而控制权重优化方向，从而达到持续学习效果的方法。其方法简单来讲分为以下三个步骤，其思想如图所示：

  • 选择出对于旧任务（old task）比较重要的权重
  • 对权重的重要程度进行排序
  • 在优化的时候，越重要的权重改变越小，保证其在小范围内改变，不会对旧任务产生较大的影响
    在这里插入图片描述
    在图中，灰色区域时旧任务的低误差区域，白色为新任务的低误差区域。如果用旧任务的权重初始化网络，用新任务的数据进行训练的话，优化的方向如蓝色箭头所示，离开了灰色区域，代表着其网络失去了在旧任务上的性能。通过控制优化方向，使得其能够处于两个区域的交集部分，便代表其在旧任务与新任务上都有良好的性能。

具体方法为：将模型的后验概率拟合为一个高斯分布，其中均值为旧任务的权重，方差为 Fisher 信息矩阵（Fisher Information Matrix）的对角元素的倒数。方差就代表了每个权重的重要程度。

1. 基础知识

1.1 基本概念

  • 灾难性遗忘（Catastrophic Forgetting）：在网络顺序训练多个任务的时候，对于先前任务的重要权重无法保留。灾难性遗忘是网络结构的必然特征
  • 持续学习：在顺序学习任务的时候，不忘记之前训练过的任务。根据任务A训练网络之后，再根据任务B训练同一个网络，此时对任务A进行测试，还可以维持其性能。

1.2 贝叶斯法则

P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A|B) = \frac{P(A \cap B)}{P(B)} P(A∣B)=P(B)P(A∩B)​
P ( B ∣ A ) = P ( A ∩ B ) P ( A ) P(B|A) = \frac{P(A \cap B)}{P(A)} P(B∣A)=P(A)P(A∩B)​
即
P ( A ∣ B ) P ( B ) = P ( B ∣ A ) P ( A ) P(A|B)P(B)=P(B|A)P(A) P(A∣B)P(B)=P(B∣A)P(A)
所以可以得到
P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A) = P(A|B)\frac{P( B)}{P(A)} P(B∣A)=P(A∣B)P(A)P(B)​

2. Elastic Weight Consolidation

2.1 参数定义

  • θ \theta θ：网络的参数
  • θ A ∗ \theta^*_A θA∗​：对于任务A，网络训练得到的最优参数
  • D D D：全体数据集
  • D A D_A DA​：任务 A 的数据集
  • D B D_B DB​：任务 B 的数据集
  • F F F：Fisher 信息矩阵
  • H H H：Hessian 矩阵

2.2 EWC 方法推导

对于网络来讲，给定数据集，目的是寻找一个最优的参数，即
P ( θ ∣ D ) P(\theta|D) P(θ∣D)
根据贝叶斯准则
P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A) = P(A|B)\frac{P( B)}{P(A)} P(B∣A)=P(A∣B)P(A)P(B)​
可以得到最大后验概率：
P ( θ ∣ D ) = P ( D ∣ θ ) P ( θ ) P ( D ) P(\theta|D) = P(D|\theta)\frac{P( \theta)}{P(D)} P(θ∣D)=P(D∣θ)P(D)P(θ)​
于是可以得到
log ⁡ P ( θ ∣ D ) = log ⁡ ( P ( D ∣ θ ) P ( θ ) P ( D ) ) = log ⁡ P ( D ∣ θ ) + log ⁡ P ( θ ) − log ⁡ P ( D ) \log P(\theta|D) = \log (P(D|\theta)\frac{P( \theta)}{P(D)})=\log P(D|\theta) + \log P( \theta) - \log P(D) logP(θ∣D)=log(P(D∣θ)P(D)P(θ)​)=logP(D∣θ)+logP(θ)−logP(D)
也就是论文中的公式（1）

如果这是两个任务的顺序学习，旧任务为任务 A，新任务为任务 B，那么可以数据集 D D D 可以划分为 D A D_A DA​ 和 D B D_B DB​，则
P ( θ ∣ D A , D B ) = P ( θ , D A , D B ) P ( D A , D B ) = P ( θ , D B ∣ D A ) P ( D A ) P ( D B ∣ D A ) P ( D A ) = P ( θ , D B ∣ D A ) P ( D B ∣ D A ) P(\theta|D_A,D_B)=\frac{P(\theta,D_A,D_B)}{P(D_A,D_B)}=\frac{P(\theta,D_B|D_A)P(D_A)}{P(D_B|D_A)P(D_A)}=\frac{P(\theta,D_B|D_A)}{P(D_B|D_A)} P(θ∣DA​,DB​)=P(DA​,DB​)P(θ,DA​,DB​)​=P(DB​∣DA​)P(DA​)P(θ,DB​∣DA​)P(DA​)​=P(DB​∣DA​)P(θ,DB​∣DA​)​
又因为
P ( θ , D B ∣ D A ) = P ( θ , D A , D B ) P ( D A ) = P ( θ , D A , D B ) P ( θ , D A ) ⋅ P ( θ , D A ) P ( D A ) = P ( D B ∣ θ , D A ) P ( θ ∣ D A ) P(\theta,D_B|D_A)=\frac{P(\theta,D_A,D_B)}{P(D_A)}=\frac{P(\theta,D_A,D_B)}{P(\theta,D_A)} \cdot \frac{P(\theta,D_A)}{P(D_A)}=P(D_B|\theta,D_A)P(\theta|D_A) P(θ,DB​∣DA​)=P(DA​)P(θ,DA​,DB​)​=P(θ,DA​)P(θ,DA​,DB​)​⋅P(DA​)P(θ,DA​)​=P(DB​∣θ,DA​)P(θ∣DA​)
所以，可以得到
P ( θ ∣ D A , D B ) = P ( θ , D B ∣ D A ) P ( D B ∣ D A ) = P ( D B ∣ θ , D A ) P ( θ ∣ D A ) P ( D B ∣ D A ) P(\theta|D_A,D_B)=\frac{P(\theta,D_B|D_A)}{P(D_B|D_A)}=\frac{P(D_B|\theta,D_A)P(\theta|D_A)}{P(D_B|D_A)} P(θ∣DA​,DB​)=P(DB​∣DA​)P(θ,DB​∣DA​)​=

最低0.47元/天 解锁文章
弹性权重整合（EWC）算法
百态老人的博客
12-01 1897
弹性权重整合（Elastic Weight Consolidation，简称EWC）是一种旨在解决神经网络在顺序学习任务时出现的灾难性遗忘问题的算法。该算法由DeepMind在2016年提出，其核心思想是通过限制对先前任务重要的权重的调整，从而保护这些权重不被过度改变，以维持模型对旧任务的记忆。EWC算法的工作原理基于Fisher信息矩阵，该矩阵衡量了每个权重在先前任务中的重要性。具体来说，EWC通过计算每个权重的重要性，并在训练新任务时对这些重要权重施加正则化约束，从而减缓它们的变化速度。
Elastic Weight Consolidation(EWC) for Life long Learning
qq_41858347的博客
04-11 8136
Life Long learning 连续学习的概念大概是在2016年以后才开始流行的，虽然今天的工业界中几乎都是使用一个或多个模型对应一个任务，但是为了让机器更像人，让机器能同时解决多个任务，同时把过去的知识运用到新的任务上，也是值得研究的课题。 方法 Regularization-based methods Parameter isolation methods 我们要实践的就是这种非常...
持续学习：PyTorch实施各种持续学习方法（XdG，EWC，在线EWC，SI，LwF，GR，GR +蒸馏，RtF，ER，A-GEM，iCaRL）
02-05
持续学习 这是以下论文中描述的持续学习实验的PyTorch实现： 三种持续学习的方案（） 具有反馈连接的生成性重放是持续学习的通用策略（） 要求 当前版本的代码已经过测试： pytorch 1.1.0 torchvision 0.2.2 运行实验 可以使用main.py运行单个实验。 主要选项有： --experiment ：哪个任务协议？ （ splitMNIST | permMNIST ） --scenario ：根据哪种情况？ （ task | domain | class ） --tasks ：多少个任务？ 要运行特定方法，请使用以下命令： 上下文相关门（XdG）：
「弹性权重巩固（EWC/Elastic Weight Consolidation）」。
qq_68308828的博客
10-25 2689
什么是突触巩固
持续学习EWC代码实现
热门推荐
qq_43428929的博客
07-19 1万+
持续学习指的是模型在完成新任务的同时不忘记旧任务如何完成的。由于神经网络存在灾难性遗忘，导致很难进行持续学习。目前，《AContinualLearningSurveyDefyingForgettinginClassificationTasks》这篇关于持续学习的综述将持续学习方法主要分为三类EWC属于第二类，基本思想是针对单个任务的神经网络中，有一些网络参数对完成该任务有着重要影响，为了保持对该任务的性能，应当让这些重要参数保持不变或者变化很小。...
EWC学习
qq_45068396的博客
02-09 1855
long life learning
（EWC）Overcoming Catastrophic Forgetting in Neural Network
HY的博客
06-06 4891
EWC这个算法降低重要权重的学习率，重要权重的决定权是以前任务中的重要性。
论文---overcoming catastrophic forgetting in neural networks
u010195841的专栏
04-05 7903
不定期更新--论文 overcoming catastrophic forgetting in neural networks  出处：2017 Jan 25 PNAS（proceedings of the national academy of sciences）  作者：deepmind团队 具体作者就不一一表述 deepmind团队是深度学习应用方向最厉害的团队，隶属
灾难性遗忘_[PNAS 2017] 克服神经网络中的灾难性遗忘
weixin_31910545的博客
12-30 325
基本信息名称：Overcoming catastrophic forgetting in neural networks作者：James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ram...
【机器遗忘之Selective amnesia算法】2024年NIPS顶刊论文：A continual learning approach to forgetting in deep
BetterBench的博客
01-05 1573
本文提出了一种名为“选择性遗忘”（Selective Amnesia）的技术，它基于持续学习理念，通过结合弹性权重固化（Elastic Weight Consolidation, EWC）和生成性重放（Generative Replay, GR）方法，并引入替代目标分布，实现对预训练深度生成模型中特定概念的选择性遗忘，允许用户指定如何遗忘特定概念。
EWC
02-17
EWC
权重计算方法_终身持续学习-可塑权重巩固（Elastic Weight Consolidation）
weixin_29585583的博客
01-04 1622
回过头来梳理了一下EWC方法，在持续终身学习里面很经典的一个方法，Deepmind写的晦涩难懂x，当时折腾了好久才理解。。。。。因为自己有点菜√条件和目标论文中，假设存在两个任务A和B (可以推广为旧任务和新任务)，数据集分别为D和D。模型学习完任务A后，继续学习任务B，并且不再使用任务A的数据，只使用任务B的数据。我们想让模型在这种情况下学习完任务B后，能够在任务A和B上都有不错的表现。问题分析...
持续学习EWC
sinat_16979249的博客
12-11 1042
ewc代码
elastic weight consolidation
ujn20161222的博客
01-22 376
GitHub - kuc2477/pytorch-ewc: Unofficial PyTorch implementation of DeepMind's PNAS 2017 paper "Overcoming Catastrophic Forgetting"
NIPS 2020 | Few-shot Image Generation with Elastic Weight Consolidation 阅读笔记&部分翻译
ybacm的博客
12-10 3323
作者提出当进行 transfer 时不应该将所有的权重参数一视同仁，然后讨论了迁移前后网络中各层的权重变化率，证明有一些重要的参数是不需要大幅度改变的，最后在损失函数中添加了 EWC 损失，做到了不同参数不同对待，而且 EWC 损失不需要学习，效果很好。
持续学习
Quentin_nb的博客
07-21 828
lifelong learning/Continuous Learning/Never ending Learning/Incremental Learning/灾难性遗忘（catastrophic forgetting）
Overcoming catastrophic forgetting in neural networks
zzz_qing的博客
05-09 955
文章链接：https://arxiv.org/abs/1612.00796。
什么是持续学习
彬彬侠的博客
04-13 2593
持续学习（Continual Learning），也称终身学习（Lifelong Learning），是人工智能中一个模拟人类认知能力的重要研究方向，目标是：让模型能够在不断接触新任务、新知识的同时，保持对旧知识的记忆，避免灾难性遗忘（Catastrophic Forgetting）。三类学习设定：Task / Domain / Class Incremental。三大方法：正则化方法（EWC、SI、MAS），回放方法（ER、iCaRL、GEM、生成回放），架构方法（PNN、DEN、PathNet）
【连续学习之EWC算法】2016年连续学习始祖论文：Overcoming catastrophic forgetting in neural networks
BetterBench的博客
10-25 874
这篇论文的主题是关于神经网络如何克服灾难性遗忘的问题，灾难性遗忘是神经网络在顺序学习任务时的一个限制。论文提出了一种称为弹性权重合并（EWC）的方法，可以使神经网络在学习新任务的同时记住旧任务。EWC会有选择地降低对先前学习任务重要的权重的学习速度，从而防止灾难性遗忘。作者通过在MNIST数据集上解决分类任务和顺序学习Atari 2600游戏的实验来证明EWC的有效性。论文将EWC与其他方法如L2正则化和dropout正则化进行了比较，结果表明EWC在保持旧任务高性能的同时学习新任务方面优于这些方法。
yolov5实现弹性权重巩固（Elastic Weight Consolidation, EWC）
最新发布
07-19
<think>我们计划在YOLOv5的增量训练中引入EWC（弹性权重巩固）来防止灾难性遗忘。EWC的核心思想是通过正则化惩罚项来保护对旧任务重要的参数，使其在新任务训练过程中变化尽可能小。具体来说，我们需要： 1. 在训练旧任务后，计算每个参数的Fisher信息矩阵（作为参数重要性的度量）并保存旧任务的最优参数。 2. 当训练新任务时，在损失函数中增加一个正则项，该正则项会惩罚重要参数（Fisher信息大的参数）偏离旧任务最优参数的程度。 步骤： 1. 训练旧任务（或加载旧模型）：得到旧模型参数$\theta^*$。 2. 计算Fisher信息矩阵：在旧任务的数据上计算每个参数的Fisher信息（即损失函数关于该参数的二阶导的期望，但通常用一阶导的平方的期望来近似）。 3. 训练新任务：在损失函数中增加EWC正则项，总损失为： $$L_{\text{total}} = L_{\text{new}}(\theta) + \frac{\lambda}{2} \sum_i F_i \cdot (\theta_i - \theta_i^*)^2$$ 其中，$L_{\text{new}}$是新任务的损失（YOLOv5本身的损失），$\lambda$是正则化强度，$F_i$是参数$i$的Fisher信息，$\theta_i^*$是旧任务中该参数的最优值。 在YOLOv5中实现EWC的详细步骤： 1. **准备阶段**：训练旧任务模型（或使用预训练模型）并保存。 - 假设我们已经有一个在旧数据集上训练好的模型`old_weights.pt`。 2. **计算Fisher信息矩阵**： - 使用旧模型的验证集（或训练集的一部分）来计算Fisher信息。 - 对于每个样本，计算损失函数关于模型参数的梯度，然后对每个参数的梯度平方求平均（作为Fisher信息的近似）。 - 注意：由于YOLOv5模型参数量很大，我们可能只对部分层（如检测头）应用EWC，以减少计算和存储开销。 3. **修改训练代码以集成EWC**： - 在训练新任务时，我们需要在损失函数中增加EWC正则项。 - 具体实现：创建一个EWC类，用于存储旧模型的参数、Fisher信息矩阵，并计算正则项。 4. **训练新任务**： - 加载旧模型参数和Fisher信息矩阵。 - 在训练循环中，计算总损失（新任务损失+EWC正则项）。 下面我们给出一个在YOLOv5中实现EWC的代码框架： 步骤1：计算并保存Fisher信息矩阵（在旧任务上） 步骤2：修改YOLOv5的train.py，将EWC损失整合进去。 由于YOLOv5代码结构复杂，我们只关注关键修改点： 首先，我们定义一个EWC类（参考引用[2]中的示例，并做修改）：</think>### 在YOLOv5中实现弹性权重巩固(EWC)防止灾难性遗忘 在YOLOv5增量训练中实现弹性权重巩固(EWC)，需要修改训练流程并添加正则化约束。EWC的核心思想是通过**Fisher信息矩阵**量化参数重要性，防止重要参数被新任务过度修改[^1][^3]。以下是具体实现步骤： #### 1. 准备阶段：保存旧模型参数和Fisher信息 在开始新任务训练前，先计算并保存旧模型的参数重要性： ```python import torch from yolov5.utils.loss import ComputeLoss from yolov5.models.yolo import Model # 加载旧模型 old_model = Model("yolov5s.yaml").cuda() old_model.load_state_dict(torch.load("old_weights.pt")) # 准备旧数据集验证集 old_val_loader = create_dataloader("old_data.yaml", batch_size=8) # 计算Fisher信息矩阵 fisher_matrix = {} optimizer = torch.optim.SGD(old_model.parameters(), lr=0.001) criterion = ComputeLoss(old_model) for images, targets in old_val_loader: images = images.cuda() outputs = old_model(images) loss, _ = criterion(outputs, targets) # 计算损失 optimizer.zero_grad() loss.backward() # 计算梯度 # 累积梯度平方作为Fisher近似 for name, param in old_model.named_parameters(): if param.grad is not None: fisher = param.grad.data.clone().pow(2) fisher_matrix[name] = fisher_matrix.get(name, 0) + fisher # 保存关键数据 torch.save({ 'old_params': old_model.state_dict(), 'fisher_matrix': fisher_matrix }, 'ewc_data.pth') ``` #### 2. 修改训练代码：集成EWC正则化 在YOLOv5的`train.py`中添加EWC损失项： ```python # 在训练循环前加载EWC数据 ewc_data = torch.load('ewc_data.pth') old_params = ewc_data['old_params'] fisher_matrix = ewc_data['fisher_matrix'] # 修改损失计算函数 class EWCComputeLoss(ComputeLoss): def __init__(self, model, lambda_ewc=1e5): super().__init__(model) self.lambda_ewc = lambda_ewc def __call__(self, outputs, targets): loss, loss_items = super().__call__(outputs, targets) # 添加EWC正则项 ewc_loss = 0 for name, param in self.model.named_parameters(): if name in fisher_matrix: ewc_loss += (fisher_matrix[name] * (param - old_params[name]).pow(2)).sum() total_loss = loss + self.lambda_ewc * ewc_loss return total_loss, loss_items # 在训练循环中使用修改后的损失函数 criterion = EWCComputeLoss(model, lambda_ewc=1e5) ``` #### 3. 启动增量训练 使用标准YOLOv5训练命令，但确保： - 使用`--weights old_weights.pt`加载旧模型 - 使用合并后的数据集配置文件 - 添加新类别到`dataset.yaml` ```bash python train.py \ --data merged_data.yaml \ --weights old_weights.pt \ --epochs 50 \ --batch-size 16 \ --lambda_ewc 1e5 # 自定义EWC强度参数 ``` #### 4. 关键参数调整 - **Fisher计算**：使用旧数据集的10-20%即可获得稳定估计 - **正则化强度λ**： - 过低($\lambda < 10^3$)：遗忘风险高 - 过高($\lambda > 10^6$)：阻碍新知识学习 - 推荐范围：$10^4 \leq \lambda \leq 10^5$[^3] - **层选择**：仅对关键层应用EWC（如检测头） ```python # 只对特定层应用EWC if 'model.24' in name: # YOLOv5检测头 ewc_loss += (fisher_matrix[name] * (param - old_params[name]).pow(2)).sum() ``` #### 5. 效果验证指标 训练后通过以下指标评估EWC效果： ```python # 旧类别mAP old_map = validate(old_val_loader, model) # 新类别mAP new_map = validate(new_val_loader, model) print(f"旧类别mAP: {old_map:.3f} | 新类别mAP: {new_map:.3f}") ``` 理想情况：旧类别mAP下降<3%，新类别mAP>80%[^1] #### 注意事项 1. **计算效率**：Fisher矩阵计算会额外增加20-30%训练时间 2. **存储需求**：需保存旧模型参数和Fisher矩阵（约2倍模型大小） 3. **组合策略**：EWC+权重冻结效果更佳（冻结骨干网络前10层）[^1] 4. **类别相似度**：新旧类别高度相似时，需增大$\lambda$值 通过EWC实现，YOLOv5在添加新类别时，旧类别平均精度下降可控制在2%以内，相比基线方法提升5-8个百分点[^3]。实际应用案例可参考Ultralytics官方扩展库[^2]。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值