Sequential Graph Convolutional Network for Active Learning阅读笔记

用于主动学习的序列图卷积神经网络

cvpr2021的一篇文献

文献链接2006.10219.pdf (arxiv.org)

代码https://github.com/razvancaramalau/Sequential-GCN-for-Active-Learning

----

这篇文献是将图神经网络（GCN）引入到主动学习中来的，先简单理解一下GCN，我也查了不少资料，感觉因为数学水平不够的原因，都太难理解了。

GCN是针对图结构数据的网络，图结构是由节点和边组成的。在本文献中，一批数据构成图结构，其中节点是图像，边是相似性.

 

 

 

 一 介绍

  主动学习可以解决深度学习需要大量标注且标注困难的数据的难题，总得来说就是输入一部分已标注的数据给系统进行初始化，训练后系统会在未标注数据集中挑选出一部分它自己认为需要标注的数据给我们，我们送给专家进行标注后将这部分标注好的数据加入到我们的已标注数据集中继续训练我们的模型，如此反复迭代到模型性能逐步提升。

  这里主动学习的核心就是如何设定模型挑选出样本给我们标注的问题。传统的主动学习使用的更多的是基于不确定度的方法（熵），不确定度越高就把他们挑出来给我们标注。还有一个新兴的法是core-set选择，简单理解就是选出一组点，以这组点的每个单独点扩散开的一个圆可以覆盖我们整个数据集。

  这篇文献中用到的方法也是不确定采样，不过用的不是熵确定法，而是将core-set的方法和自己的想法结合应用在图像分类和回归任务上，下文进行介绍。

人工智能框架可以分为两大类:任务依赖型和任务不可知型。任务依赖型是指采样器是为学习者的特定任务专门设计的。以前在主动学习中的大多数作品本质上都是任务依赖的。换句话说，采样函数取决于学习者的目标。这种设计限制了模型对于特定类型的任务变得最优，同时又受到其可伸缩性问题的困扰。

本文中使用任务不可知型，训练的是学习者和采样器。

二 方法

Figure  1:   The  diagram  outlines  the  proposed  pipeline.Phase  I:  Train  the  learner  to  minimise  the  objective  ofdownstream task from the available annotations,Phase II:Construct  a  graph  with  the  representations  of  images  extracted from the learner as vertices and their similarities asedges,Phase  III:  Apply  GCN  layers  to  minimise  binarycross-entropy between labelled and unlabelled,Phase IV:Apply uncertainty sampling to select unlabelled examplesto query their labels,Phase V: Annotate the selection, populate the number of labelled examples and repeat the cycle

这个流程图讲得挺清楚的了，主要分为五个阶段，下面简单讲一下：

阶段一：训练学习者最小化来自可用注释的下游任务的目标，也就是给模型用少量的标注数据进行训练，这里做的是提取标记和未标注数据集的特征。

阶段二：我们采用基于池的场景进行主动学习。基于池的场景是主动学习三大场景之一，池指的是未标注数据集，挑选时从“池”里选一批数据进行标注，这也是现下许多主动学习方法选择的场景。这一阶段所做的事情是构建一个图，其中从学习者提取的图像表示作为顶点，它们的相似性作为边。也就是我画的这个图：

 阶段三：应用GCN层最小化标记和未标记之间的二进制交叉熵。二进制交叉熵相当于损失函数，也就是让损失函数最小化。通过GCN，学习该图的参数以识别标记与未标记示例的节点。采样器的目标独立于学习者的目标。我们对图进行卷积，该图在节点之间进行消息传递操作以归纳高阶表示。任何图像的图嵌入主要取决于初始表示和相关的邻域节点。因此，具有相似语义和邻域结构的图像最终会导致紧密的表示，这将在识别足够不同的未标记示例和已标记示例中起到关键作用。卷积后的节点分为标记的和未标记的。个人理解应该是让相似性更高的图像挨在一起。

在每个主动学习阶段，用从学习者提取的标记和未标记图像的特征初始化。我们认为这种方法是基于模型的，需要一个单独的架构进行采样。我们引入图的动机主要是在样本(节点)之间传播学习者特征空间上的继承不确定性。因此，在图中应用卷积之后，节点之间的消息传递导致节点的高阶表示。最后，我们的GCN 将作为一个二进制分类器，决定哪些图像被注释。

阶段四：应用不确定性采样选择未标记的示例来查询它们的标签。这里的不确定性采样不是我常见的熵类不确定采样，作者将CoreSet 下的高阶图节点信息用于新的采样技术。原则上，CoreSet 在学习者特征空间上使用核心集之间的风险最小化，而在GCN 特征上使用这个操作，这种采样技术为CoreGCN 。

 每个同心圆表示一组强连接的节点，在图中，具有相似性的一组图像处于同心圆中，在第一选择阶段，将两个标记样本作为种子标记样本，在已标记数据同心圆以外的另一个非分布的同心圆中选择样本，而不是从最里面的圆中选择需要标注的样本。类似地，在第二阶段，我们的采样器选择位于另一个外同心圆中的图像，这与之前选择的图像完全不同，类似地，在第二阶段，我们的采样器选择位于另一个外同心圆中的图像，这与之前选择的图像完全不同。

这里我的个人理解是选择与标记样本同一类，但是相似性不接近（即同心圆以外）的样本进行标注。

阶段五：注释选择出来的样本，填充标记示例的数量并重复该循环。

三 实验

  在四个具有挑战性的图像分类基准上评估了所提出的人工智能方法。其中包括三个RGB 图像数据集，即CIFAR 10、CIFAR 100和SVHN，以及一个灰度数据集，即fashimnist。最初，对于每个基准，我们将整个训练集视为一个未标记的池(DU)，我们随机抽取一小部分样本，并查询它们的标签。对于CIFAR 10 、SVHN 和FashionMNIST ，标记为示例的种子大小为1000.而对于CIFAR 100 ，我们选择2，000 是因为它们的类数量相对较多(100对10)。

 

 

 我们使用每个数据集上所有可用的训练示例分别训练ResNet 18 ，并在测试集上报告性能。我们的实现在CIFAR 10 上获得93.09%，在CIFAR 100 上获得73.02%，在FashionMNIST 上获得93.74%，在SVHN 上获得95.35%。

方法至少获得了与现有方法相似的性能，或者优于现有方法。

四 总结

我们提出了一种新的方法，在图像分类和回归使用图形卷积网络主动学习。经过系统和全面的实验，我们采用的采样技术，不确定采样和核心采样，在6 个基准上产生了最先进的结果。我们通过定性分布表明，我们的选择函数最大化了数据空间中的信息量。我们的采样机制的设计允许集成到其他学习任务中。此外，这种方法能够在这个方向上进行进一步的研究，其中优化的选择标准可以与GCN 采样器相结合。