SupSup：叠加中的超级面具（论文解释）

论文摘要：利用超掩码解决连续学习中的灾难性遗忘问题

这篇论文提出了一种利用“超掩码”来解决连续学习中灾难性遗忘问题的方案。

核心思想:

• 超掩码是一种二元掩码，它被应用于随机初始化的神经网络，旨在提升模型性能，使其超越随机初始化水平。
• 论文作者针对每个学习任务训练相应的超掩码，并在推理阶段根据数据识别对应的任务，从而实现连续多任务学习。
• 实验表明，即使在不知道任务的情况下，该方法也能比现有基线方法表现更好，即使基线方法知道任务信息。

灾难性遗忘问题:

• 当模型连续学习多个任务时，它往往会逐渐遗忘之前学习的任务，这就是灾难性遗忘问题。
• 论文中用图像识别任务举例说明：模型先学习 CIFAR-10，再学习 MNIST，最后学习 ImageNet。随着学习任务的增加，模型对之前任务的性能会逐渐下降。
• 虽然可以同时训练所有任务，但现实中往往需要逐个学习任务，因为数据规模和获取方式的限制。

论文贡献:

• 提出了一种基于超掩码的模型，能够连续学习数千个任务，并有效地避免灾难性遗忘。
• 该模型在推理阶段能够识别数据对应的任务，从而实现高效的连续多任务学习。
• 实验结果表明，该方法在连续学习领域取得了显著进展。

总结:

这篇论文提出了一种利用超掩码解决连续学习中灾难性遗忘问题的创新方案，并通过实验验证了其有效性。该方法有望在机器学习领域，特别是连续学习和多任务学习领域取得更广泛的应用。

超级掩码是随机初始化的神经网络的二元掩码，它们会导致被掩码的网络在特定任务上表现良好。本文考虑了（顺序）终身学习问题，并为每个任务训练一个超级掩码，同时保持随机初始化的基础网络不变。通过最小化输出熵，系统可以在推理时自动推导出数据点的任务 ID，并自动区分多达 2500 个任务。
大纲：0:00 - 简介和概述1:20 - 灾难性遗忘5:20 - 超级掩码9:35 - 使用超级掩码的终身学习11:15 - 通过熵进行推理时间任务辨别15:05 - 掩码叠加24:20 - 概念验证，推理时给定任务30:15 - 二元最大熵搜索32:00 - 推理时未给定任务37:15 - 训练时未给定任务41:35 - 消融研究45:05 - 多余的神经元51:10 - 通过检测异常值进行任务选择57:40 - 在霍普菲尔德网络中编码掩码59:40 - 结论论文：https://arxiv.org/abs/2006.14769代码：https://github.com/RAIVNLab/supsup
摘要：我们介绍了叠加超级掩码 (SupSup) 模型，该模型能够顺序学习数千个任务而不会出现灾难性遗忘。我们的方法使用随机初始化的固定基础网络，并为每个任务找到一个子网络（超级掩码）以实现良好的性能。如果在测试时给定任务标识，则可以使用最少的内存使用量检索正确的子网络。如果未提供，SupSup 可以使用基于梯度的优化来推断任务，以找到学习的超级掩码的线性叠加，从而最大程度地减少输出熵。在实践中，我们发现即使在 2500 个任务中，一个单一的梯度步骤通常足以识别正确的掩码。我们还展示了两个有希望的扩展。首先，SupSup 模型可以在完全没有任务标识信息的情况下进行训练，因为它们可以检测到它们何时对新数据不确定，并为新的训练分布分配额外的超级掩码。最后，整个不断增长的超级掩码集可以通过将它们隐式地存储为固定大小的霍普菲尔德网络中的吸引子来存储在恒定大小的存储库中。