论文|少样本学习综述

原文题目：Learning from Very Few Samples: A Survey

文章结构：

一、引言

深度学习的领域：

1.视觉2.语言3.语音4.游戏5.人口学6.医学7.植物病理学8.动物学

深度学习的成功取决于：

强大的计算资源、复杂的网络、大规模的数据集。

少样本学习（FSL）的意义：
实际中，医学、军事、金融等一些领域由于无法获取足够的训练样本标签（可能是涉及隐私安全花费等），所以少样本学习很有意义。意义：1.不用依赖大规模样本 2.缩小人类与AI的差距 3.低成本，快速的模型部署。

从优化的角度说明，为什么FSL进展困难？

从本质上讲每个被监督样本形成的约束可以看作是f的正则化，这可以减少泛化误差。

二、概述

2.1进化历史

生成模型：一开始在非深度的阶段，都是用生成模型，尝试去寻找一个联结分布或者条件分布。

FSL生成模型一些里程碑：1.凝结算法  2.方差贝叶斯 3.贝叶斯程序学习。

在非深度阶段也有判别模型，但他们不是主流。

存在一些基于方法的生成模型，但是基于方法的判别模型才是主要的，比如元学习。后续FSL方法充分利用了深度神经网络在特征表示和端到端模型优化的优势，包括
1.数据增强2.度量学习3.元学习

过去，这些先进的FSL方法已直接应用于或改进以解决计算机视觉，自然语言处理，音频和语音，数据分析，机器人等方面的各种应用。

同时也存在很多与之相关的挑战：半监督FSL，无监督FSL，交叉域FSL，泛化FSL，多模态FSL。

因此发展历程可以总结为：非深度向深度的转变，主流方法的变化，经典元学习的复兴。

2.2注释定义

少样本监督学习的目的是为任务T建立一个映射f，用DT中的信息和DA（辅助集）的知识。DT和DA交集为空。

半监督：训练集中有些样本无标签
无监督：即使是辅助集DA也没有标签
交叉域