元学习增量学习结合（一i）

Self-Attention Meta-Learner for Continual Learning

问题

当前大多数增量学习方法，从随机初始化的参数开始，并进行优化以掌握当前任务（第一个任务），而不管所学习的表示对未来任务的有用性如何（增量学习的起点很重要，刚开始的参数如果泛用性很强，可能对增量学习任务很有帮助）。此外，未来的每一个任务都使用以前学到的所有知识，尽管这些知识的一部分可能对其学习没有帮助（选择有用的知识）。 这些造成任务之间的干扰，尤其是在以前任务的数据不可访问的情况下。

思路

本文提出了一种新方法Self-Attention Meta-Learner (SAM)，它为continual learning学习一些先验知识。SAM 结合了一种注意力机制，该机制学习为每个未来任务选择特定的相关表示。每个任务在所选知识之上构建一个特定的表示分支，避免任务之间的干扰。

模型架构

SAM由两部分组成。第一部分由元学习学习到的先验知识参数 𝜃 、各任务共享。在这个共享子网络中的每一层之后都有一个注意模块（该结构来自于SENet,最早做channel attention的一篇文章），它根据输入，学习从对应的层中挑选相关特征。第二部分学习由 𝜙𝑖 参数化的每个任务 𝑡𝑖 的具体表示。每个任务都使用几个层来捕获类特定的判别特征。这部分的输入是从先验知识中选择的相关知识。在部署时，输入 𝑥 通过神经网络 f(𝑥;𝜃, 𝜙1, 𝜙2, …, 𝜙𝑖 ,…) 以预测迄今为止所有已学习类别中的相应类别。

方法

SAM方法有两个主要阶段先验知识构建和选择相关知识

先验知识构建

本文采用MAML的元学习方法构建先验知识，元学习的数据集不是增量学习的数据集。

选择相关知识

为了能让模型学习新任务时，选择先验知识中的合适知识，作者将SAM与一种注意力机制进行结合，在meta-learner（共享子网络）中的每一层之后添加一个注意力块。 该模块的作用是自适应地重新校准每一层中的卷积通道（或隐藏神经元）。 它学习增强与输入相对应的信息特征，并抑制不太有用的特征。（这种注意力机制第一次在Squeeze-and-excitation networks，SENet中提出，也就是通道注意力）

分析

Optimizing Reusable Knowledge for Continual Learning via Metalearning

思路

学习新任务时，网络的旧权值会被覆盖，从而导致灾难性遗忘。作者提出了一种新方法MetA Reusable Knowledge or MARK，学习新任务时，促进权重重用而不是被覆盖，从而减轻灾难性遗忘。Mark在任务之间保留了一组共享权重。 我们将这些共享的权值看作一个公共知识库(KB)，它不仅用于学习新的任务，而且随着模型学习新的任务，也会添加新的知识。
MARK背后的关键组件有两个方面。 一方面，元学习方法可以用新的知识增量地丰富知识库，鼓励对多项任务有用的权重更新，学到的知识有更强的泛用性，可以促进任务间的权重重用。 另一方面，一组可训练的掩码提供了从知识库中选择性地选择相关权重来解决每个任务的关键机制。

模型架构

方法

在每个任务上训练MARK有三个步骤
（1）KB Querying
训练任务相关的mask生成函数，用于在知识库中查询过去任务中对当前任务有帮助的知识

（2）KB Update
使用元学习更新知识库，将从当前任务中学习到的高度通用的知识添加到知识库
（3）KB Querying
在利用当前任务的知识更新知识库后，重复查询过程，利用这些新知识优化掩码生成函数和任务分类器。 请注意，在此步骤中，KB是固定的

整体思路：首先使用从以前的任务中积累的知识来查询知识库。 这迫使掩码函数和分类器重用可用的知识。 当知识耗尽时，我们继续将当前任务中的知识添加到知识库中。 最后，我们利用这个新更新的知识库来获得给定任务的最终掩码函数和分类器。