（GEM）Gradient Episodic Memory for Continual Learning论文笔记

（GEM）Gradient Episodic Memory for Continual Learning

Abstract

GEM：减轻了遗忘，同时允许有益的知识转移到先前的任务中。

Introduction

大多数监督学习方法假设每个例子（xi，yi）都是一个来自固定概率分布P的同分布的、独立分布的的样本。

给每个例子一个标签t，令每个例子变为（xi，ti，yi），且每个例子都时满足正态分布。

这样学习者不会经历一个例子两次，且是按照顺序进行。

GEM

GEM中主要特征为一个情景记忆Mt，储存了任务t中观察到得例子。

则第k个任务得损失为：

 

若最小化损失再加上上述公式会导致过拟合得出现，因此将上述公式作为不等式得约束：

 

可以通过计算之前任务的损失梯度向量之间的角度来诊断损失的增加和建议的更新，因此将约束条件改写为

 

gk表示当天任务t之前得任务k得损失梯度 ，以内积得形式判断两个梯度方向是否呈锐角方向更新

建议将梯度g投影到满足所有约束最近的梯度g上，通过求解L2范数找到一个满足所有约束的梯度g替代g进行更新，则上述问题可以转化为：

在这一步，发现只需要将变换g~，令其与先前每一个向量的夹角变为锐角即可，作者将其转化为了2次规划的对偶问题进行了求解：

 

计算出v后，我们的g~可得：

算法原理图

总结于这两篇博客，感谢两位作者的分享：

 Gradient Episodic Memory for Continual Learning 论文阅读+代码解析_编程龙的博客-CSDN博客【论文笔记】Gradient Episodic Memory for Continual Learning_疯狂的小猴子h的博客-CSDN博客