【论文笔记】Interventional Few-Shot Learning

概述

目前流行的meta-learning、fine-tuning等小样本学习方法都利用外部知识进行预训练，以使模型在小样本上有好的效果。而预训练知识很可能会成为影响样本特征与标签之间的关系的混杂因素，使模型得到错误的结果。
本文从因果的角度解释预训练知识引入混杂的原因，并提出干预式小样本学习，在现有方法的基础上通过后门调整进行去混杂。

研究目标

解决小样本学习中预训练带来的不足。

问题陈述

few-shot learning

典型的few-shot learning：在 $N$-shot support set $S$上训练 $K$-way 分类器，其中$N$代表每个类中的训练样本数，这个数字很小（如$N$=1或5）；然后再 query set $Q$ 上测试分类器。用两种方法来训练分类器$P(y|x;\theta )$，预测样本$x$的类$y\in 1，...，K$。

Fine-Tuning. 样本特征表示$x$，由先验知识数据集$D$上的预训练网络$\Omega$编码。将$x$表示为$\Omega$的冻结子部分的输出，而其余的可训练子部分（如果有的话）可以被吸收到$\theta$中。我们在支持集$S$上训练分类器$P(y|x；\theta )$，然后以标准监督的方式在查询集$Q$上对其求值。

Meta-Learning. 从参数化为$\phi$的先验知识$D$中对“学习行为”进行建模，通过上述 Fine-tuning 可以对每个$(S_i,Q_i)$进行学习。形式上，我们将$P\phi （y|x；\theta ）$表示为具有学习行为的增强分类器。例如，$\phi$可以是分类器权重生成器，kNN中的距离核函数，甚至$\theta$的初始化。考虑$L\phi （S_i，Q_i；\theta ）$作为$P\phi （y|x；\theta ）$在$S_i$上训练并在$Q_i$上测试的损耗函数，我们可以得到$\phi \leftarrow argmi{n}_{(\phi ，\theta )}{E}_i[L\phi （S_i，Q_i；\theta ）]$，然后在$S$上确定优化的 φ φ