Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy阅读笔记

摘要：
对于源域中包含1000个类的大规模FSL问题，出现了一个强基线，最先进的大规模FSL方法难以突破这一底线，为了克服这一挑战，我们提出了一种新的大规模FSL模型，通过对源类和目标类之间的语义关系进行编码的类层次结构来学习可迁移的视觉特征。

介绍：

        在FSL问题中，我们提供了一组源类和一组目标类，设置如下:(1)目标类与源类在标签空间中没有重叠;(2)每个源类都有足够的标记样本，而每个目标类只有少量的标记样本。因此，FSL旨在将知识从源类转移到目标类。

        因此，我们提出了一个新的FSL模型，通过利用源类和目标类共享的类层次结构来学习一个更可转移的特征嵌入模型。使用源类和目标类之间的语义关系作为先验知识，帮助学习更可转移的特征嵌入，以识别目标类样本。我们的工作中，语义关系通过基于公共文本语料库的数据驱动方法显式编码为树状类层次结构，尽管源类和目标类在类层次结构的底层(叶)层没有重叠，但它们在顶层共享(超类)标签。

语义相似的类(包括源类和目标类)被分组，然后每个集群在树的上层形成一个父节点(即超类节点)(参见图2中的红框)。

MODEL：

问题定义： 

源类和目标类不重叠。这两大类共分出三个数据集，源类提供大的样本集，目标类提供小的样本集和测试集。我们的大规模FSL方法包括两个阶段:可转移的视觉特征学习和学习特征的标签推断。

特征学习：

我们首先使用从在 4.6M 维基百科文档的语料库上训练的 skip-gram 文本模型 [16] 中提取的词向量来表示每个源/目标类名称。在我们的类层次结构中，目标类和源类都被用作树的叶子（即类节点）。它们构成了类层次结构的底层。从叶子开始，我们通过对下层节点的词向量进行聚类来获得上层节点。然后每个簇在树的上层形成一个父节点（即超类节点），超类的词向量是其子类的词向量的平均值。同一层的超类节点构成一个超类层。通过使用这种方法，我们可以获得一个树形结构的类层次结构，它由n个超类层和一个类层组成（见图3）。为简化起见，我们将 l1 表示为类层，将 li(i = 2, ..., n + 1) 表示为 n 个超类层。由于超类在源类和目标类之间共享，因此我们的模型有望很好地代表目标类样本。

我们采用分层预测网络对CNN模型进行扩展，如图4中的紫色框所示。使用共享的CNN特征，预测每一层的超类。

标签推理：

       余弦相似性判断距离。