少样本学习方法

最新推荐文章于 2024-05-21 17:26:41 发布

水花花花花花

最新推荐文章于 2024-05-21 17:26:41 发布

阅读量1k

点赞数 29

分类专栏：人工智能文章标签：人工智能深度学习机器学习

本文链接：https://blog.csdn.net/m0_73776435/article/details/138668023

版权

人工智能专栏收录该内容

26 篇文章 1 订阅

订阅专栏

少样本学习(FSL)是机器学习的一个子领域，它解决了只用少量标记示例学习新任务的问题。FSL的全部意义在于让机器学习模型能够用一点点数据学习新东西，这在收集一堆标记数据太昂贵、花费太长时间或不实用的情况下非常有用。

1、少样本学习方法

支持样本/查询集:使用少量图片对查询集进行分类。

少样本学习中有三种主要方法需要了解:元学习、数据级和参数级。

元学习:元学习包括训练一个模型，学习如何有效地学习新任务;
数据级:数据级方法侧重于增加可用数据，以提高模型的泛化性能;
参数级:参数级方法旨在学习更健壮的特征表示，以便更好地泛化到新任务中

2、元学习

元学习(学习如何学习)。这种方法训练一个模型学习如何有效地学习新任务。这个模型是关于识别不同任务之间的共同点，并使用这些知识通过几个例子快速学习新东西。

元学习算法通常在一组相关任务上训练模型，并学习从可用数据中提取与任务无关的特征和特定于任务的特征。任务无关的特征捕获关于数据的一般知识，而任务特定的特征捕获当前任务的细节。在训练过程中，算法通过仅使用每个新任务的几个标记示例更新模型参数来学习适应新任务。这使得模型可以用很少的示例推广到新的任务。

度量学习

通过计算待分类样本和已知分类样本之间的距离,找到邻近类别来确定待分类样本的分类结果。基于度量学习方法的通用流程具有两个模块:嵌入模块和度量模块,将样本通过嵌入模块嵌入向量空间,再根据度量模块给出相似度得分.

孪生神经网络(siamese neural network) ：孪生神经网络从数据中学习度量,进而利用学习到的度量比较和匹配未知类别的样本,两个孪生神经网络共享一套参数和权重. Koch G, Zemel R, Salakhutdinov R. Siamese neural networks for one-shot image recognition. In: Proc. of the ICML Deep Learning Workshop. 2015
匹配网络：Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning. In: Advances in Neural Information Processing Systems. 2016. 3630−3638.
LSTM+匹配网络：Jiang LB, Zhou XL, Jiang FW, Che L. One-shot learning based on improved matching network. Systems Engineering and Electronics, 2019,41(6):1210−1217
多注意力网络模型：Wang P, Liu L, Shen C, et al. Multi-attention network for one shot learning. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2017. 2721−2729.
原型网络（prototypical networks ）：Snell J, Swersky K, Zemel RS. Prototypical networks for few-shot learning. In: Advances in Neural Information Processing Systems. 2017. 4077−4087.
2.1中原型网络+无标签数据
基于人工注意力的原型网络：Gao TY, Han X, Liu ZY, Sun MS. Hybrid attention-based prototypical networks for noisy few-shot relation classification. In: Proc. of the AAAI Conf. on Artificial Intelligence. 2019. 6407−6414.
层次注意力原型网络(HAPN)：Sun SL, Sun QF, Zhou K, Lv TC. Hierarchical attention prototypical networks for few-shot text classification. In: Proc. of the Conf. on Empirical Methods in Natural Language Processing and the 9th Int’l Joint Conf. on Natural Language Processing (EMNLP-IJCNLP). 2019. 476−485.
关系网络：Sung F, Yang Y, Zhang L, et al. Learning to compare: Relation network for few-shot learning. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2018. 1199−1208.
深度比较网络：Zhang X, Sung F, Qiang Y, et al. Deep comparison: Relation columns for few-shot learning. arXiv preprint arXiv:1811.07100, 2018.
Hilliard N, Phillips L, Howland S, et al. Few-shot learning with metric-agnostic conditional embeddings. arXiv preprint arXiv:1802.04376, 2018.
协方差度量网络(CovaMNet)：Li W, Xu J, Huo J, Wang L, Yang G, Luo J. Distribution consistency based covariance metric networks for few-shot learning. In: Proc. of the AAAI Conf. on Artificial Intelligence. 2019. 8642−8649.
深度最近邻神经网络（DN4）：Li W, Wang L, Xu J, Huo J, Gao Y, Luo J. Revisiting local descriptor based image-to-class measure for few-shot learning. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2019. 7260−7268.
Li H, Eigen D, Dodge S , et al. Finding task-relevant features for few-shot learning by category traversal. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2019. 1−10.

3、数据级方法

数据级方法侧重于扩充现有数据，这样可以帮助模型更好地理解数据的底层结构，从而提高模型的泛化性能。

主要思想是通过对现有示例应用各种转换来创建新的示例，这可以帮助模型更好地理解数据的底层结构。

有两种类型的数据级方法:

数据增强:数据增强包括通过对现有数据应用不同的转换来创建新的示例;
数据生成:数据生成涉及使用生成对抗网络(GANs)从头生成新的示例。

4、数据级的方法

参数级方法目标是学习更健壮的特征表示，可以更好地泛化到新的任务。

有两种参数级方法:

特征提取:特征提取涉及从数据中学习一组特征，可以用于新任务;
微调:微调包括通过学习最优参数使预训练的模型适应新任务。

例如，假设你有一个预先训练好的模型，它可以识别图像中的不同形状和颜色。通过在新数据集上微调模型，只需几个示例，它就可以快速学会识别新的类别。

5、元学习算法

元学习是FSL的一种流行方法，它涉及到在各种相关任务上训练模型，以便它能够学习如何有效地学习新任务。该算法学习从可用数据中提取任务无关和任务特定的特征，快速适应新的任务。

元学习算法可以大致分为两种类型:基于度量的和基于梯度的。

6、基于度量的元学习

基于度量的元学习算法学习一种特殊的方法来比较每个新任务的不同示例。他们通过将输入示例映射到一个特殊的特征空间来实现这一点，在这个空间中，相似的示例放在一起，而不同的示例则分开很远。模型可以使用这个距离度量将新的示例分类到正确的类别中。

一种流行的基于度量的算法是Siamese Network，它学习如何通过使用两个相同的子网络来测量两个输入示例之间的距离。这些子网络为每个输入示例生成特征表示，然后使用距离度量(如欧几里得距离或余弦相似度)比较它们的输出。

7、基于梯度元的学习

基于梯度的元学习学习如何更新他们的参数，以便他们能够快速适应新的挑战。

这些算法训练模型学习一组初始参数，只需几个例子就能快速适应新任务。MAML (model - agnostic元学习)是一种流行的基于梯度的元学习算法，它学习如何优化模型的参数以快速适应新任务。它通过一系列相关任务来训练模型，并使用每个任务中的一些示例来更新模型的参数。一旦模型学习到这些参数，它就可以使用当前任务中的其他示例对它们进行微调，提高其性能。

8、基于少样本学习的图像分类算法

FSL有几种算法，包括：

与模型无关的元学习(Model-Agnostic Meta-Learning): MAML是一种元学习算法，它为模型学习了一个良好的初始化，然后可以用少量的例子适应新的任务。
匹配网络（Matching Networks）:匹配网络通过计算相似度来学习将新例子与标记的例子匹配。
原型网络（Prototypical Networks）:原型网络学习每个类的原型表示，根据它们与原型的相似性对新示例进行分类。
关系网络（Relation Networks）:关系网络学会比较成对的例子，对新的例子做出预测。