小样本学习方法总结及发展趋势

小样本学习是在人类的学习方式和人工智能之间建立联系的桥梁，使深度学习在样本稀有的案例上部署成为可能，未来面向小样本数据的机器学习方法的研究会逐渐深入，并将取得良好的发展。

小样本学习方法总结

基于模型微调的小样本学习方法通过大量样本的源数据集对模型进行训练，然后在小样本目标数据集上进行微调，操作简单而且仅需重新调整参数，但是如果目标数据集和源数据集不相似，会引起模型过拟合。

一般将模型微调方法和数据增强、度量学习或元学习等方法结合，以避免少量数据带来的模型过拟合问题。

基于数据增强的小样本学习方法仅需通过辅助数据或者辅助信息来进行数据扩充或特征增强，不需要调整模型的参数，但是可能会引入噪声或特征，对学习模型的效果形成不好的影响，模型通常会比较复杂且计算量较大。

现有的机器学习方法在实际的数据增强中容易出现知识偏移和过拟合的问题，所以实际的应用效果并不是特别理想，一般将数据增强的思想融入度量学习或元学习的方法中。基于度量学习的小样本学习方法模拟样本之间的距离分布，使用非参数估计的方法进行分类，简单易操作，便于计算和公式化，只需通过距离来衡量样本间相似度，通过对比减轻样本稀少带来的负面影响，但是模型过度依赖度量方式的选择和特征表示的质量，在小样本数据情况下，只通过简单的距离衡量相似度会导致准确率降低 。

基于度量的小样本学习方法借助非参数化的分类模型，降低了特征提取器的训练难度，更加适合小样本分类，而且模型结构更加灵活和高效。基于元学习的小样本学习方法通过基学习器学习先验任务，通过辅助元学习器学习策略，加速学习模型在新任务上的收敛速度，使模 型具备自动学习能力，能学习训练之外的知识，在解决不同类问题时变得灵活。元训练提升基类泛化能力会导致模型对新泛化能力变差，模型复杂度较高， 需要改进的方面较多。不同任务的数据具有不同数据分布，数据分布差异较大会导致模型难以收敛，且元学习机制缺乏可解释性。

发展趋势

传统深度学习模型在训练数据不足以及训练数据和测试数据不是同分布的情况下性能存在明显下降，小样本学习要解决的问题是如何提升深度学习模型的泛化能力，以实现真正的强人工智能。

1）小样本学习的数据层面：

（1）现有的面向小样本数据的机器学习模型都需要在大量数据集上预训练，除了在小样本图像分类任务中有被广泛应用的标准数据集外，其他很多领域都缺少可用的预训练数据集，如何构建能被多种任务广泛使用的具备细粒度标记的小样本学习数据集，并选择合适的数据 标记方法是一个非常有必要的研究方向；

（2）在许多应用场景中，有标签样本量很少，但是大量的无标签数据拥有非常丰富的信息，如何更好地使用无标注数据信息训练模型值得深入研究。为了使小样本学习更接近真实场景，需要进一步研究和寻找不依赖模型预训练和先验知识就能获得较好效果的机器学习方法。

2）小样本学习的理论研究：

（1）针对基于度量学习的小样本学习方法，以距离函数度量的方法相对成熟，通过神经网络计算样本间相似性将成为主流的度量方法，如何设计更优秀的神经网络度量方法是未来研究趋势；

（2）针对基于数据增强的小样本学习方法，如何设计更好的生成方法，更好地利用无标注数据或辅助特征是未来研究的方向；

（3）针对基于元学习的小样本学习方法，因为元学习无法从小样本中获得足够可理解的信息，使其学习不具备可解释性，后续可以从元学习注意力机制和元学习因果推断机制方面进一步研究，如何设计更合理的元学习机制，使用先验知识把部分不可解释问题转化为可解释 问题 ，并证明其合理性；

（4）已有的小样本学习方法大多运用单一的数 据增强或者转移学习技术，未来可以尝试不同小样本学习方法的融合，从数据和模型两个层面共同改进，也可以尝试将主动学习和强化学习等先进框架应用到小样本学习上。

3）小样本学习的应用研究：

现有的小样本学习研究主要集中在图像分类和视觉任务等领域，但在工业界仍然存在大量的实际问题也迫切需要通过小样本学习来进一步解决，虽然可能有少量应用，但是效果还不太理想。典型的例子包括商品分类、新药研发、罕见疾病诊断、实时环境感知、机器与人类的交互等场景。在这些场景中，训练样本往往难以获取，或是需要模型即时做出响应，而小样本学习恰好可以提升深度学习模型对样本数据的利用效率，这些都是未来小样本学习的重要应用场景和应用研究方向。

 

mbd.pub/o/GeBENHAGEN

擅长现代信号处理(改进小波分析系列，改进变分模态分解，改进经验小波变换，改进辛几何模态分解等等)，改进机器学习，改进深度学习，机械故障诊断，改进时间序列分析(金融信号，心电信号，振动信号等)