[HSI论文阅读]A survey Deep learning for hyperspectral image classification with few labeled samples

A survey Deep learning for hyperspectral image classification with few labeled samples

少量标记样本下进行高光谱图像分类的深度学习方法调查

文章目录

• 前言
•  关键词预习
• 1.HSI（Hyperspectral image）classification（高光谱图像分类）
• 2.Transfer learning（迁移学习）
• 3.Few-shot learning（小样本学习）
• 4.Active learning（主动学习）
• 论文内容
• 一、Abstract（摘要）
• 二、Introduction（介绍）
• 三、Deep learning models for HIS classficiation（HSI分类的深度学习方法种类）
• 四、Deep learning paradigms for HSI classifification with few labeled samples（少量标签下的HSI分类深度学习范式种类）
• 五、Conclusion（总结）
• 总结

---

 

前言

本文记录了我对自己阅读到的首篇HSI论文所作的一些笔记和学习内容的整理，并以这篇文章作为自己在CSDN上所创作的第一篇文章。

由于通过这篇论文可以对整个HIS分类领域中的各个方法有一个系统性的学习认识，且其中包含着大量的特有概念（很多是我还没来得及继续学习的），如果对这些内容都有一个清晰的认知，那么在概念层面上一定可以达到HIS分类的入门要求。

关键词：HSI（Hyperspectral image）classification（高光谱图像分类）、Transfer learning（迁移学习）、Few-shot learning（小样本学习）、Active learning（主动学习）

---

 关键词预习

1.HSI（Hyperspectral image）classification（高光谱图像分类）

什么是高光谱图像？如何获取？：

高光谱图像分类（ hyperspectral image classification ）HIS为缩写，即高光谱图像。高光谱分类的结果主要依赖于空间信息和光谱信息，其并非普通的二维图像，而是一种三维数据。

如下图所示：

高光谱图像概念

 

1.成像原理：星载光谱成像仪会在沿着轨道飞信时，对地表发出不同波段的光谱信号。而地表不同物质对每一个波段的光谱信号的吸收率和反射率都不同，所以星载光谱成像仪根据地表所有物质对每一个波段的光谱的不同反馈信号，可以绘出一副地表的二维图像，加上其他的波段的二维图像，我们就获得了一个三维数据。
注意：图中三维数据的每一层对应一个波段的光谱信号。

2.数据表现形式：三维数据中每一个像素，从光谱维这个角度来看，可以看成一种物质在不同波段光谱信号下的表现，如上图中的土壤、水体、植被等。

3.分类原理：不同物质在不同波段光谱信号下的不同表现，可以绘制成一条关于光谱波段和光谱值之间的曲线，根据曲线的差异，我们可以高光谱图像中不同物质进行分类。分类方法有很多，如SVM、稀疏表示。

2.Transfer learning（迁移学习）

目标：把已学习训练好的模型参数迁移到新的模型来帮助新模型训练。大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率

特点：不用像大多数网络那样从零学习。但事实上，在特定情况下迁移学习甚至会产生相反的效果。这种情况叫 negative transfer。

缺点：negative transfer 在进行迁移学习的时候，我们都默认不同的任务具备相关性，但如何定义相关性，如何数学描述任务之间相关性的强弱都是偏向人类的主观决定。我们经常使用 ImageNet 作为 fine-tuning（也叫微调） 的 pre-trained model （预训练模型），因为 ImageNet 本身数据集之大保证了学习的网络有较高的泛化性。但如果用的小的数据集呢？结果还会一样么？还是会比从零学习的网络更差？（见如下的四个场景）

Fine-tune

决定如何使用迁移学习的因素最重要的只有两个：新数据集的大小、以及新数据和原数据集的相似程度。

注意：网络前几层学到的是通用特征，后面几层学到的是与类别相关的特征。

这里有使用的四个场景：（转自文章 https://blog.csdn.net/weixin_42137700/article/details/82107208）

1、新数据集比较小且和原数据集相似。因为新数据集比较小，如果fine-tune可能会过拟合；又因为新旧数据集类似，我们期望他们高层特征类似，可以使用预训练网络当做特征提取器，用提取的特征训练线性分类器。

2、新数据集大且和原数据集相似。因为新数据集足够大，可以fine-tune整个网络。

3、新数据集小且和原数据集不相似。新数据集小，最好不要fine-tune，和原数据集不类似，最好也不使用高层特征。这时可使用前面层的特征来训练SVM分类器。

4、新数据集大且和原数据集不相似。因为新数据集足够大，可以重新训练。但是实践中fine-tune预训练模型还是有益的。新数据集足够大，可以fine-tine整个网络。

预训练模型

在ImageNet上训练一个网络，即使使用多GPU也要花费很长时间。因此人们通常共享他们预训练好的网络，这样有利于其他人再去使用。例如，Caffe有预训练好的网络地址Model Zoo。

3.Few-shot learning（小样本学习）

目标：通过极少量的样本识别一个新物体，类似人类的快速学习能力（比如给幼儿通过数张图片来认识猫），机器学习模型要达到在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习。

特点：Few-shot Learning 是 Meta Learning 元学习在监督学习领域的应用。

Meta Learning：又称为learning to learn（学会学习），该算法旨在让模型学会“学习”，能够处理类型相似的任务，而不是只会单一的分类任务。这一概念来自于对人类智能的基本认知：我们人学习一个东西的时候不是从头开始学的，都是基于之前学习的知识来进行学习的（如举一反三）。比如如果在学习Python之前积累了一些面向对象的编程基础，那么在学习Python的过程中将会很轻松也会快很多。但是我们的深度学习模型，学习新的东西（可以看成新的类，新的 task）需要从头开始学习（ 从头开始的过程中需要大量的样本 ），即使模型之前学过特别类似的东西。因此 Meta-learning 就像让深度学习学会学习，利用之前学过的知识在面对新的问题可以学习得又快又好，快 – few-shot learning 。因此 meta-learning 和 few-shot learning 现在的研究基本都是在一起的。

段落引用原文的链接：https://blog.csdn.net/weixin_37589575/article/details/92801610

关键问题：是解决过拟合 (overfitting) 的问题，因为训练的样本太少了，训练出的模型可能在训练集上效果还行，但是在测试集上面会遭遇灾难性的崩塌。

注：小样本学习是学术界和工业界近年来关注的焦点。

4.Active learning（主动学习）

目标：机器学习模拟人类学习的过程，利用已有的知识训练出模型去获取新的知识，并通过不断积累的信息去修正模型，以得到更加准确有用的新模型。不同于被动学习被动的接受知识，主动学习能够选择性地获取知识，

关键问题：在真实的数据分析场景中，我们可以获取海量的数据，但是这些数据都是未标注数据，很多经典的分类算法并不能直接使用。那肯定会有人说，数据是没有标注的，那我们就标注数据喽！这样的想法很正常也很单纯，但是数据标注的代价是很大的，及时我们只标注几千或者几万训练数据，标注数据的时间和金钱成本也是巨大的。

样本信息：样本信息就是在训练数据集当中每个样本带给模型训练的信息是不同的，即每个样本为模型训练的贡献有大有小，它们之间是有差异的。因此，为了尽可能地减小训练集及标注成本，在机器学习领域中，提出主动学习（active learning）方法，优化分类模型。

主动学习的范式模型：当有类标的数据比较稀少而没有类标的数据相当丰富并且对数据进行人工标注又非常昂贵时，学习算法可以主动地提出一些标注请求，将一些经过筛选的数据提交给专家进行标注。主动学习筛选过程模型如右:  A=(C,Q,S,L,U)，其中 C 为一组或者一个分类器；L是用于训练已标注的样本；S是督导者，可以为U样本池中样本标注正确的标签；Q 是查询函数，用于从未标注样本池U中查询信息量大的信息；U是样本池，含庞大数量的样本信息。

标主动学习模型题

 

主动学习过程：学习者通过少量初始标记样本L开始学习，通过一定的查询函数Q选择出一个或一批最有用的样本，并向督导者询问标签，然后利用获得的新知识来训练分类器和进行下一轮查询。主动学习是一个循环的过程，直至达到某一停止准则为止。

---

论文内容

 注意：以下各节均对应文章各部分的内容信息提取

一、Abstract（摘要）

二、Introduction（介绍）

三、Deep learning models for HIS classficiation（HSI分类的深度学习方法种类）

四、Deep learning paradigms for HSI classifification with few labeled samples（少量标签下的HSI分类深度学习范式种类）

五、Conclusion（总结）

尽管只有很少的标签分类工作在收集和标记各种样本的过程中可以大程度节省时间和人力，但是这些模型很容易over-fit 过度拟合（一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。）或者gaining a weak generalization得到了较弱的泛化（泛化 (generalization) 是指神经网络对未在训练 (学习) 过程中遇到的数据可以得到合理的输出。）。因此，怎样避免过度拟合以及如何改进模型的泛化是当下HIS小标签分类样本分类的巨大挑战。

 

---

总结

对于HIS图像分类这一目前我很陌生的领域，我首先对此论文内容进行了三次快速浏览，文章内容基于对现在的HIS分类领域中所流行存在，或者是仍在发展的各种方法进行了一系列汇总，主要内容有各种方法的来源、之间的关系、它们的详细实现、优缺点特性、在实验过程中表现出来的性能等。其次在真正阅读前我对关键词进行了搜索与粗浅的认知，然后重点阅读了Abstract、Introduction和Conclusion，然后顺序仔细阅读了二（深度学习方法分类）、三（少量标签下的HSI分类深度学习范式分类）、四（实验）部分。在阅读的过程中我将自己所提炼出来的信息全部存放在了这个文章对应的部分中，并对重要信息做了标记，为日后再次梳理打下基础。

无论文分享链接。