基于小样本学习的图像分类综述

目录

引言       

基本概念

小样本学习方法分类

1、数据增强

2、迁移学习

3、元学习

小样本学习主流方法

1、基于度量的小样本学习

2、基于Pretraining+Fine Tuning的方法

3、基于元学习的小样本学习

总结

引言       

       因为课程设计要求，所以进行了关于小样本学习的调研。目前小样本学习还是一个比较热门的研究，很多关于小样本学习的论文也陆续发表。本文只是一个概述，具体方法研究还有待深入。

基本概念

       小样本学习（FSL：Few-Shot Learning）是机器学习的一个子领域。它涉及到在只有少数训练样本和监督数据的情况下对新数据进行分类。只需少量的训练样本，我们创建的模型就可以相当好地执行。 我们通常说的 N-way-K-Shot 分类，N 代表需要分类的类别数，K 代表每个类中包含的训练样本数。

       首先需要了解一些基本概念。C_base 基类：训练集中包含的类别。D_base  训练集：用于训练模型的图片集合。C_novel 新类：测试阶段支持集和查询集包含的类别。D_novel 测试集：测试阶段的图片集合。D_support  支持集：测试阶段提供的少量有标记的样本。D_query 查询集：测试阶段待分类的没有标记的样本。其中基类和新类是没有交集的，最后的测试图片类别不包含在训练图片类别中。小样本学习就是用足够样本的基类进行预训练后,仅用少量的训练样本来识别增量新类。

小样本学习方法分类

        目前对于小样本学习的图像分类提高准确率有以下几种方法：

1、数据增强

       数据增强是增加FSL中样本丰富度的最直接方法。数据增强是一种用于扩充训练数据集的技术，旨在通过对原始数据进行各种变换来生成新的训练样本。

       数据增强的主要方法：

• 几何变换：旋转、翻转、缩放、剪切等
• 颜色变换：亮度、对比度、饱和度、色调等调整
• 噪声添加：高斯噪声、椒盐噪声等
• 模糊处理：高斯模糊、运动模糊等
• 随机遮挡：遮挡图像的一部分区域
• 图像合成：将多个图像合成为一个图像，如图像拼接、MixUp等

2、迁移学习

       将模型在大数据集上进行预训练, 从中学习到一些有利于当前任务的先验知识, 从而来弥补标注数据不足的问题，其核心思想是特征重用。在广泛的数据集上预训练模型，然后在有限的小样本数据集上进行微调。

3、元学习

       元学习核心思想是让模型学会如何学习。换句话说，元学习就是让模型在学习一系列任务的过程中，掌握如何在新任务上快速学习和适应的能力，可以理解为学会去学习。元学习与传统的监督学习有所不同，传统监督学习关注于特定任务上的性能，而元学习关注于在多个任务间迁移知识的能力。其大致框架如下图所示：

       图像分类的元学习的训练过程需要多个图像分类的任务，例如图中的Task1、Task2。这些训练集中每个任务都包含已经标注好的训练图片，但是和最后的测试集是无关的。需要先初始化网络参数对每个任务（Task1、Task2）进行一轮训练，就相当于对每个任务进行Machine Learning。一轮结束后得到每个任务的损失，根据损失调整网络参数，然后再次进行第二轮的训练，按照这样下去直到收敛。

       测试也需要一个任务，来测试网络的性能。这个任务包含一些已经标注好的训练图片和测试图片。用之前训练出来的网络模型对这个测试任务进行Machine Learning。最后得到该模型在测试图片上的准确率，就是我们想要的测试结果。

小样本学习主流方法

        目前比较主流的小样本学习算法：

1、基于度量的小样本学习

        度量学习是解决小样本图像分类问题的一种手段。相比于元学习可能比较简单，但是也能取得很好的结果。度量学习可以解释为是一种空间映射的方法，能够学习到某种特征空间。在小样本图像分类中，可以理解为将数据转换成特征向量。 度量学习也指相似度学习，衡量在嵌入空间中两个目标特征或者多个相似度或者距离，相同的类特征距离较近，反之不同的类特征距离较远，最终根据相似度得分获得分类结果。如下图所示，x距离C2更近，所以x属于C2类别。通过卷积神经网络和循环神经网络等方法来实现特征的提取。度量分类器可以使用基于布雷格曼散度的欧氏距离、马氏距离和余弦距离的固定度量方法或者基于深度神经网络的可学习度量方式。

2、基于Pretraining+Fine Tuning的方法

       小样本学习问题的Pretraining+Fine Tuning解法的基本想法是在大规模数据集D_base上预训练模型，然后在小规模的支持集D_support上做Fine Tuning。这种解决方法非常简单，但是准确率基本与小样本学习领域最好的方法相当。相较之下，许多非常复杂的方法的准确率没有显著高于这种非常简单的Pretraining+Fine Tuning方法。

       在大规模数据集C_base上预训练好神经网络之后，可以在D_support上进行Fine Tuning来进一步提高预测准确率。很多论文的实验结果表明，Fine Tuning可以大幅提高预测准确率。一篇ICLR 2020的论文实验表明，在5-way 1-shot D_support上做Fine Tuning可以提升2%∼7%的准确率，在5-way 5-shot D_support上做Fine Tuning可以提升1.5%∼4%的准确率。小样本学习领域很多论文中的实验都证明了，尽管D_support非常小，但是用D_support来训练分类器有助于提升准确率，使用Pretraining+Fine Tuning比只使用Pretraining要好很多。

3、基于元学习的小样本学习

       这就是上面提到的使用元学习的算法。元学习指利用以往的知识经 验指导新任务的学习，被广泛应用在小样本学习中。对于一个小样本分类任务，元学习不会直接学习如何做到 这件事情，而是去学习一些相似的任务，在这些任务中有足够的知识或样本来学习，当学习了很多这样的任务之后，元学习模型便学会了举一反三，之后用这个分类任务来测试元学习模型，从而完成任务。典型的元学习算法有MAML。

总结

目前小样本学习还是一个比较热门的研究，很多关于小样本学习的论文也陆续发表。本文只是一个概述，具体方法研究还有待深入。