近两年小样本学习取得重大进展了吗？

链接：https://www.zhihu.com/question/439865186

编辑：深度学习与计算机视觉

声明：仅做学术分享，侵删

2020年小样本学习可谓如火如荼，我从2020年六月份入坑小样本，顶会论文越看越懵，请问各位，2020年到2021年初，小样本学习有里程碑意义的成果吗？

作者：ICOZ
https://www.zhihu.com/question/439865186/answer/1747593000

当然。

如果你只是focus在小样本分类的那几个benchmark上，那的确看起来很局限。事实上小样本学习的应用可以是很广泛的， 其中的研究思路也可以对其他领域产生启发。这两个方面展开说可以写很多。

随便举几个例子，很多相关的问题都可以看做小样本学习，比如图像检索，人脸识别验证，行人重识别。都是直接依据少样本来做预测。对于这些更具体的task，往往区别在于数据的类型和评测指标，比如few shot learning benchmark上的数据类别更强调语义，而且上面的几个例子里的数据可能是一些更细粒度的特征。

小样本的研究思路同样会给相关领域带来启发。比如小样本学习里的metric based的方法 （Prototypical Network, Matching Network, DeepEMD等）带来的启发就是如何表示fully connected layer里prototype，这样便可以迅速获得一个classifier来用于训练。这样思路用在其他领域也相当有效。

比如在这篇Distilling Cross-Task Knowledge via Relationship Matching：https://openaccess.thecvf.com/content_CVPR_2020/html/Ye_Distilling_Cross-Task_Knowledge_via_Relationship_Matching_CVPR_2020_paper.html里， 在跨数据集的任务里蒸馏知识，label space不一样，预测的logits不一样怎么办。 就可以利用其中一个数据集的backbone到另一个数据集里用prototype的思想迅速获得classifier来训练。这种data relation也可以作为knowledge，同feature/logits一样，可以被distill。  最近也有将类似思路用在蒸馏self-supervised 模型，这种情况下没有label只有data embedding，也可以看做一种特殊的小样本情形。同样，小样本学习里，固定住backbone只调整prototype的做法直接搬到long tail classification问题里就可以取得SOTA的结果。

类似地，如果把小样本学习看做是一种conditional prediction模型的话，那又可以和大量领域建立联系。比如小样本分割领域经常会把support数据当做conditional input来预测，这和style transfer，group segmentation等任务又十分相似。比如如何更好的融入conditional input的信息？可以是在feature 上concantenate ，可以是pixel level attention，可以是style transfer里经常用的AdaIN，可以用上graph来propagate信息，等等等。这些任务的learning方法都可以互相借鉴。 又比如，小样本里的数据可以被拆分成很多更小的数据，就像style transfer的工作里强调了一些局部的style， DeepEMD里使用local region feature来做分类，PGnet里把小样本分割数据表示成graph来传递信息。

总的来说，参考目前的 few-shot classification leaderboard：https://few-shot.yyliu.net/miniimagenet.html，即使是最简单的few shot分类问题还是有很大的研究空间的。其他的setting下，比如transductive learning, large scale， cross domain，fine-grained， open set 下也有很多task specific的算法，也都很有研究价值。

作者：杨朔
https://www.zhihu.com/question/439865186/answer/1683322623

要想较好的解决少样本学习这个问题，甚至达到与多样本学习相近的性能表现，就需要思考造成少样本学习如此困难的本质是什么。

是因为少样本导致经验风险最小化不可靠？少样本导致深度模型极易过拟合？或者是极少的样本无法反映真实数据分布？

针对“少样本无法反映真实数据分布，所以导致模型过拟合”这个现象，我们最新的一篇工作试图利用有限的样本去估计潜在的真实数据分布，并且实现了还不错的效果。

杨朔：ICLR2021 Oral ｜利用一个样本估计类别数据分布 9行代码提高少样本学习泛化能力https://zhuanlan.zhihu.com/p/344531704

我觉得这是一个有趣的方向，假如该分布估计足够准确，少样本和传统多样本学习还存在很大的差别吗？

作者：木大木大
https://www.zhihu.com/question/439865186/answer/1713991892

没啥进展，数据多点干不过直接预训练的模型提特征做比对，one-shot 就靠transductive ,weakly supervised变相改变测试流程和引入测试数据改变模型，不讲武德， meta learn变相过拟合测试流程， 天天刷 mini imagenet,针对数据集badcase微调特征提取细节。整个数据集测试方法问题定义和实际应用差距十万八千里

作者：知乎用户
https://www.zhihu.com/question/439865186/answer/1713882405

小白自问自答一波~

我认为小样本学习目前取得了一定的进展，但是还主要处于百家争鸣的阶段。不论是任务的合理设置和扩展，数据（训练数据、测试数据、额外数据等）的引入和使用，还是具体的解决思路，都还处于探索的阶段。而且目前视觉的小样本学习还没有一个基于实际应用场景的任务设置或数据集。

从AAAI2021的一些论文来看，目前的小样本图像分类，有很多研究者将目光投向图像数据信息的充分利用和挖掘上。因为本身小样本的数据很少，所以如何从图像中得到关键的特征，减少噪声特征的干扰，就更加显得重要（而且mini-ImageNet数据集个人认为存在着一些不合适的样本或者说难度过大的样本，例如强遮挡、同一张图多个物体等）。结合CAM、注意力机制、使用局部特征和全局特征结合，可能都是解决途径。这方面一个典型的方法我认为莫过于CVPR2020的DeepEMD（[2003.06777] DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning (arxiv.org)）https://arxiv.org/abs/2003.06777了。

我整理了一下目前可以找到pdf的AAAI2021的小样本论文，供大家参考：https://zhuanlan.zhihu.com/p/349131932

作者：赵俊博 Jake
https://www.zhihu.com/question/439865186/answer/1734654426

现有的小样本学习的benchmark和数据集，基本围绕在实现AGI这个目标上面。

以Lake et al.开发的omniglot为例，通过小样本学习来实现复杂象形文字的识别。但是说真的，这东西我们人看上去都不知道是什么 — 它距离实际应用有点远。

其实在工业界中真正有意义的小样本学习场景有很多。

我举个例子。在化学反应这个场景下，专业人员的最终目标是提升某种产物的产率。这里面的搜索空间的关键变量包括各种反应物，反应物的质量，催化剂，反应条件（包括湿度、温度等等）。而可用的数据是多少呢？可能是零。

你不要以为我在开玩笑，正经的应用其实数据就是零。在工程实施的环节，一般的流程是专家通过实验的方式积累一些数据，可能也就几十个。有意义的人工智能这里要做的是用过这几十个数据，对剩余的搜索空间进行一个搜索（其他的反应物、催化条件、反应条件等）。如果说搜索空间最终的高产率是个很小的子空间，那么初期的数据往往是低产率的数据。之后通过模型推荐出来的组合之后再做一批实验，之后融入到训练集里，反复上个流程。

这里就有了个非常有意思的小样本学习的问题，如何用产率很小的数据来预测高产率的反应组合？或者是这里的训练集是有偏的，它们的产率往往很小，距离最终的最优子空间的距离很远。

我没有谈要用什么方法来做这个，不管是监督学习（分类啊 回归啊啥的），还是元学习（maml啊之类的），或者其他的什么方法。这些暂时还不是那么重要。

可能在我们这个bubble里面，我们已经习惯了那种反馈很快的环境（比如说alphago，模拟一遍就出来结果了）。在这个场景下，一批数据的获取可能要花上几天甚至几周的时间。类似于这种情况的还有各路生物、材料等等场景。我认为凡是数据获取周期很长，成本不低的场景下，都是一个又一个鲜活的有意义的小样本学习问题。

☆ END ☆

如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 mthler」，每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓