论文浅尝 | Combat data shift in few-shot learning with KG

笔记整理：许方舟，天津大学硕士

链接：https://link.springer.com/article/10.1007/s11704-022-1339-7

动机

现如今在元学习框架下诞生了许多小样本学习方法，他们能够从多种任务中学习并泛化到新任务中。如果所有样本都来自相同分布，这种情况下小样本学习能够达到预期的性能。然而在实际应用中，小样本学习范式往往会受到数据偏移的影响，即不同任务中的样本，甚至同一任务中的样本，都可能来自不同的数据分布。大多数现有的小样本学习方法没有考虑数据偏移，因此当数据分布偏移时性能不佳。针对这一问题，本文提出了一种新颖的元学习框架，借助知识图谱来提取任务特定的表示和任务共享的表示。因此，任务内/任务间的数据迁移可以通过任务共享和任务特定表示的组合来解决。

亮点

（1）研究了数据迁移下的小样本学习，而现有的模型主要研究不考虑数据迁移的小样本学习；

（2）提出了一种有效的方法来利用知识图谱来指导任务共享表示的学习，并将其与任务特定的表示相结合，在小样本学习中生成合适的类别原型；

（3）构建了两个数据集，相比于现有流行基准有着更加明显的数据偏移，并通过实验证明本文GPN模型的有效性。

概念及模型

问题确立：

现有的小样本学习方法假设训练集和测试集中的所有样本来自相同的分布，但在现实应用场景中往往不符合这一情况，如下图所示，样本有时来自不同的分布，导致真实世界的猫被错误分类为老虎。本文假设训练集和测试集中的样本来自不相同的分布。