跨域iframe高度自适应_小样本学习中图片分类任务的跨域问题

小样本学习意味着我们有一个任务

,以及其附带的小样本数据集

但是单纯依赖

是无法解决小样本任务的，因此我们还需要有一个大样本的辅助数据集

在大多数小样本学习的情况下，研究人员都会利用一个有监督的辅助数据集来先完成meta-training阶段 ：

中包括足够的类别和归属该类别的根据以往的经验收集的样本 ：

需要注意的是，

中不包含任务

中的样本类别，即，

，但

和

中的数据都来自同一域中，也就是说，

在这之后，利用

来完成meta-testing阶段，实现小样本任务的学习。

那么，如果

和

所属的任务为跨域，随着两个域间差距增大，小样本学习的结果会发生什么变化呢？其次，在这种跨域情况下，meta-learning与pre-training+fine-tune方法相比，对于小样本任务的学习是否还具有优势呢?

2019年ICLR的一篇文章《A CLOSERLOOK ATFEW-SHOTCLASSIFICATION》对这个问题给出了一些研究结果。

1.实验方法

文章给出了六种实验方法，可以分为两类

1. pre-train+fine-tune：Baseline，Baseline++
   区别在于度量方法不同，Baseline是Linear，Baseline++是Cosine

2. meta-learning：MatchingNetV、ProtoNet、MAML、RelationNet

2.同域实验结果

作者在CUB和mini-ImageNet两个图像数据集上做了1-shot和5-shot两种方案：

上面的实验都是用4-layer Conv做backbone，文中还尝试了其它网络下的实验情况：

从上图可以得到两个结论：

• 随着主干网络的加深，不同方法之间的差距会缩小
• 一些元学习方法的效果比起Baseline++要差，有的甚至不如Baseline

3.跨域问题下的表现

这篇文章中的跨域是指：mini-ImageNet→CUB

3.1 ResNet-18，5-shot方法的准确率

可以看到Baseline++方法要优于所有的元学习方法

3.2 ResNet-18，5-shot的整体比较

可以看到，随着域差距的增大，pre-train+fine-tune的方法比起meta-learning方法来说，对于小样本图像分类任务似乎更加有效。而meta-learning方法的准确率在遇到跨域问题时下降较快。

4.元学习的增强域适应

在上述元学习方法表现不佳的情况下，作者提出对元学习方法进行一些adaptation steps，以便进行进一步域适应，得到更好的结果，如训练新的softmax等分类器，将noval class分成 3 support 和 2 query 来进行100 epochs的训练。

进一步调整的结果上图所示，可以看到，MatchingNet和MAML的性能在进一步域适应后会显著提高，尤其是在mini-ImageNet→CUB情况下。

结果表明，缺乏适应性是meta-learning落后于beseline/baseline++的原因。但是，在meta-testing阶段更改设置可能会导致与meta-training阶段不一致。ProtoNet和RelationNet的结果表明，在域差异较小的情况下，性能可能会下降。

5.结论

综上所述，由于在许多实际应用中可能会存在跨域问题，因此如何改进meta-training阶段来实现域自适应将是未来FLS方法学习研究的重要方向。

不过就这篇文章来看，小样本学习对于跨域问题还是不太适用，优势不是很明显，比不过Fine -Tune。