weixin_47505105的博客

这篇工作的focus 是 memory-based approach。

在开放词汇表图像分类中，随着时间的推移，模型需要不断学习新的标签，同时保留对旧标签的记忆。

在线持续学习（Online Continual Learning, OCL）中的在OCL中，模型需要在一次数据流中学习，并且每个任务的样本只能遇到一次，这使得模型容易对当前任务学习不足（欠拟合），同时对旧任务的缓冲区数据过度学习（过拟合）。

所有类别都受到同等对待，即，当到目前为止已观察到 t 个类别且 K 是可存储的样本总数时，iCaRL 将为每个类别使用 m = K/t 样本（向上舍入）。选择过程的关键在于：每次加入的新样本应该让整个示例集的特征向量均值最接近该类别训练集中所有样本的特征向量均值。这意味着，示例集不仅仅是一个随机选择的集合，而是一个优先级列表。在为新类别选择示例时，iCaRL 按照迭代方式逐个选择示例，直到达到目标数量 m。这个方法的优点：每当特征表示发生变化时，类原型就会自动改变，从而使分类器对特征表示的变化具有鲁棒性。

关键是，模型不仅需要识别当前任务的数据（如正在学习中的任务），还要记住以前学过的任务，甚至能够处理未来可能遇到的新任务。“局部iid”是指在某个特定的任务中（比如在任务 t 中），数据是独立同分布（iid）的，也就是说，在某个任务的学习阶段内，数据可以随机地、不相关地抽取出来。虽然在每个任务中，数据是随机独立的（iid），但在不同任务之间，数据不是随机的。例如，模型可能会先连续看到许多水果图片，然后才切换到动物识别任务，这使得任务间数据的顺序不是随机的。x：特征向量，比如一张图片。