我理解的第一篇顶会论文

Continual Relation Learning via Episodic Memory
Activation and Reconsolidation
持续学习：在新数据上不断训练一个模型，学习不断出现的新关系，同时避免灾难性遗忘旧关系。
先前工作证明：将少量历史关系例子存储在情景记忆中，并在随后的训练中重复播放，是一种较为有效的方法。但是这些基于记忆的方法会造成对少数的记忆例子的过渡拟合旧关系，并导致现有关系之间不可避免的混淆，受人长期记忆形成机制的启发，将情景记忆激活与再巩固（EMAR）引入到持续关系学习中。每当激活神经模型学习新数据和记忆数据时，EMAR利用关系原型进行记忆重新巩固练习，保持对旧关系的稳定理解。

基于记忆的方法，已有的工作表明巩固记忆的重新激活触发了一个重新巩固阶段，以持续保持记忆，但是记忆在这个阶段容易被改变或者抹去，运用一些重新巩固练习可以帮助记忆度过这个阶段，并保持长期记忆的稳定。
先前的基于记忆的模型，因为没有再巩固练习的持续记忆激活，因此变得敏感与易变。

在对新关系及其样本进行训练模型时，首先采用记忆回放的方式激活对新关系和记忆样本的神经模型，再利用一个特殊的再巩固模块，让模型避免过渡改变和消除旧关系的特征分布。

关系学习的核心是掌握关系模型，不是死记硬背关系实例，所以再巩固模块需要模型在每次记忆被重放激活后，可以区分旧的关系原型。

本文最大的改进：在特征空间上更加灵活，对旧关系的特征分布保持不变，对关系原型的记忆能力更强。
方法：
1、任务定义和整体框架
任务定义：对于第k个任务，模型根据其训练数据学习新关系，并缓解对旧关系的遗忘。
框架：
1、微调第K个任务的训练集Tk的示例编码器，让模型知道新的关系模式
2、对于第k个关系集的每个关系，选择其信息性的例子将这些例子存储到情景记忆Mk中
3、强化区分旧关系原型的同时，反复采用记忆重放、激活和记忆再巩固的方法学习新的关系原型
首先采用一个示例编码器对其语义特征进行编码，以检测和学习关系。（将给定的例子标记为几个标记，然后将标记后的标记输入到神经网络中，计算其相应的嵌入，从句子中提取关系与句子中的提到的实体有关，因此在标记化的标记中添加特殊的标记表示这些实体的起始位置），本文那个长短期记忆网络作为示例编码器。

1、当出现新任务时，因为示例编码器未接触过任何新的关系示例，无法提取其语义特征，首先需要对示例编码器微调，已学习到新任务的中的新的关系模式。
模型图：

2、从新任务中选取丰富多样的例子覆盖尽可能多的新的关系模式，使内存有效近似特性分布的关系。
将第k个任务的所有示例编码到
，然后应用K-Means聚类这些示例输入，其中簇的数量为内存的大小吧，对于每个簇选取最接近簇质心的示例，并记录这些选择示例属于哪个关系。这个选取的集合即为选例集Ck，计算每个关系在Ck中的样例数，可以知道该关系在这个任务中的重要性，根据其重要性，为每个关系选择不同数目的保存的样例。

3、通过对示例编码器进行微调，选择信息性的样例加入到记忆单元，迭代采用计算原型、记忆重放与激活、记忆重巩固等方法加强新关系模式的识别，并保持对旧关系模式的区分。