Transductive Episodic-Wise Adaptive Metric for Few-Shot Learning阅读笔记

摘要：

        通过将元学习范式与深度度量学习和转导推理集成在一起，我们提出了一个用于少镜头学习的转导式情节自适应度量(TEAM)框架。将自适应过程表述为标准的半确定规划问题，将共享的任务不确定嵌入空间中的所有特征适应为更具歧视性的任务特定度量空间。此外，我们进一步利用基于注意力的双向相似策略来提取查询和原型之间更健壮的关系。

介绍：

       基于元学习的方法解决小样本问题效果很好，但是有两个局限性。

1. 如图1所示，将所有任务的所有实例不加区分地嵌入度量空间。该假设不考虑任务级信息(元数据)，只考虑示例级特征，忽略了不同任务的特殊性。实际上，这个想法缺少的是为每个任务量身定制度量空间的自适应模块
2. 另一种是目前大多数方法都遵循归纳推理的设置，即使用非常有限的支持数据训练元学习器，并在每个任务中逐个预测查询。显然，这一过程没有充分考虑支持集和未标记测试集之间的相互作用，从而削弱了元学习的优势。

为了解决上面两个问题，我们提出了转导式情景自适应度量(TEAM)。我们不仅提出了在少量任务池上端到端学习任务不可知实例嵌入模型作为元学习方式，而且还为每个任务构造了具有独特信息的任务特定距离度量，如成对约束和正则化先验。我们将任务度量的优化过程转化为标准半定规划问题[2]，并通过动态求解半定规划问题得到闭形式解。此后，由任务不可知模型生成的所有特征都适应于特定于任务的度量空间，其中来自同一类的样本更近，不同类的样本相距更远。然后，根据转换后的嵌入，我们执行了一种新的基于注意力的双向相似策略，以计算每个未标记查询和类原型之间更健壮的关系，这进一步提高了我们的方法的性能。此外，通过利用每个任务中所有样本的凸组合来构造辅助训练任务，我们提出了一种任务级数据增强技术，以提高嵌入模型的泛化能力。

TEAM：

        我们的方法提出了一个基于情景的度量构建模块，将任务不确定的嵌入转换为特定于任务的度量空间，即情景适应。此外，为了缓解支持集的数据稀缺问题，构建一个更通用的任务自适应度量，我们遵循传导推理的范式，将查询集作为一个整体来进行预测，而不是一个一个地进行预测。

任务无关的特征提取器：

任务内部混合增强策略（TIM）：

        我们提出了一种任务级数据增强技术，称为任务内部混合(Task Internal mixture, TIM)，在每个任务中对所有支持样本进行凸组合，合成新的片段。对于源任务中的每个实例(xi, yi)，我们从同一任务中随机选择另一个样本(xj, yj)，并合成新的训练示例

        W为0.5-1随机采样。合成时使用地样本为原始图像，而不是特征。因为新样本使用xi地特征大于50%，所以新样本地标签时yi。

情景自适应度量：

我们的目标是最小化相似样本的距离，并使得不同类样本距离大于1.

根据式(3)和拉格朗日乘子的方法，我们将式(4)改写为对约束损失函数:

​​​​​​​