![eec5b4525e40ceca2cb89038d17b7c08.png](https://i-blog.csdnimg.cn/blog_migrate/e67cfd3e1bd0f01d96e3488bfc783cbc.png)
小样本学习意味着我们有一个任务
但是单纯依赖
![c5d4c0165376155342ac58bf8642e1a8.png](https://i-blog.csdnimg.cn/blog_migrate/0ef8ee6aae6978b161feeaf3a7bf90ae.png)
在大多数小样本学习的情况下,研究人员都会利用一个有监督的辅助数据集来先完成meta-training阶段 :
需要注意的是,
在这之后,利用
那么,如果
2019年ICLR的一篇文章《A CLOSERLOOK ATFEW-SHOTCLASSIFICATION》对这个问题给出了一些研究结果。
1.实验方法
文章给出了六种实验方法,可以分为两类
- pre-train+fine-tune:Baseline,Baseline++
区别在于度量方法不同,Baseline是Linear,Baseline++是Cosine
![22f282f8284d697906406ce9efab020a.png](https://i-blog.csdnimg.cn/blog_migrate/5dd913613964d86098f07cf7e836e64d.jpeg)
2. meta-learning:MatchingNetV、ProtoNet、MAML、RelationNet
![bcb0a12c538c3c9353c4a51cfbddfdc7.png](https://i-blog.csdnimg.cn/blog_migrate/2bada0218f95bd2dfe6ee017f76f91c1.jpeg)
2.同域实验结果
作者在CUB和mini-ImageNet两个图像数据集上做了1-shot和5-shot两种方案:
![fc036fc99160b1db07d4396309e3c517.png](https://i-blog.csdnimg.cn/blog_migrate/983a0edf6fa32dd873369a11f6f1403c.png)
上面的实验都是用4-layer Conv做backbone,文中还尝试了其它网络下的实验情况:
![645dd76251b1e00077c4461a72bc1dda.png](https://i-blog.csdnimg.cn/blog_migrate/eb8b9a3fc0a52c26b90c81efe9bddef7.jpeg)
从上图可以得到两个结论:
- 随着主干网络的加深,不同方法之间的差距会缩小
- 一些元学习方法的效果比起Baseline++要差,有的甚至不如Baseline
3.跨域问题下的表现
这篇文章中的跨域是指:mini-ImageNet→CUB
3.1 ResNet-18,5-shot方法的准确率
![1749348f7a33c695fe5c1e03bf87a972.png](https://i-blog.csdnimg.cn/blog_migrate/aec5f38614b280423a6418af63872cec.png)
可以看到Baseline++方法要优于所有的元学习方法
3.2 ResNet-18,5-shot的整体比较
![cc91cd4c84923147169fac96be67b62a.png](https://i-blog.csdnimg.cn/blog_migrate/c2a1c1452516e39238d68344034cbb6b.png)
可以看到,随着域差距的增大,pre-train+fine-tune的方法比起meta-learning方法来说,对于小样本图像分类任务似乎更加有效。而meta-learning方法的准确率在遇到跨域问题时下降较快。
4.元学习的增强域适应
在上述元学习方法表现不佳的情况下,作者提出对元学习方法进行一些adaptation steps,以便进行进一步域适应,得到更好的结果,如训练新的softmax等分类器,将noval class分成 3 support 和 2 query 来进行100 epochs的训练。
![31a72500f69ddc5ca24a5318e59ab403.png](https://i-blog.csdnimg.cn/blog_migrate/42f856f06885b5b7d6512a38ed8ceeb9.jpeg)
进一步调整的结果上图所示,可以看到,MatchingNet和MAML的性能在进一步域适应后会显著提高,尤其是在mini-ImageNet→CUB情况下。
结果表明,缺乏适应性是meta-learning落后于beseline/baseline++的原因。但是,在meta-testing阶段更改设置可能会导致与meta-training阶段不一致。ProtoNet和RelationNet的结果表明,在域差异较小的情况下,性能可能会下降。
5.结论
综上所述,由于在许多实际应用中可能会存在跨域问题,因此如何改进meta-training阶段来实现域自适应将是未来FLS方法学习研究的重要方向。
不过就这篇文章来看,小样本学习对于跨域问题还是不太适用,优势不是很明显,比不过Fine -Tune。