Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning基于异构图的知识迁移

论文链接：https://arxiv.org/abs/1911.09046

相关介绍

摘要

作者提出了一种新的基于异构图的知识转移方法(HGKT)，该方法利用图神经网络来实现对不可见类和实例的不可知。具体来说，利用所看到的类的高级代表节点构造一个结构化的异构图，这些代表节点通过Wasserstein barycenter进行选择，以同时捕获类间和类内的关系。通过图神经网络学习聚合、嵌入函数（aggregation and embedding functions），利用图神经网络通过聚合相邻节点的信息计算不可见类的embedding。

main contributions

1. 通过构建图神经网络捕获（capture）类内和类间关系。（不同类及同类的特征之间的迁移学习）。
2. 使用Wasserstein metric 计算质心确定类内代表节点。（节点的筛选有去噪的作用，但文章未在这一部分做更多介绍和改进）

算法步骤

1. 计算代表节点

1. 主要方法：Wasserstein metric。
2. 主要目的：计算质心，将距离质心最近的节点作为每一类的代表节点。

2. 异构图神经网络的构建

1. 节点：每一个图片为一个节点，visual feature为初始化信息。（这里有一个筛选过程，并非所有的样本都能参与训练，而是以代表节点为中心用k-NN算法求得可控的样本数，k既然是可调的应当有一个以k为变量的结果对比，或者k值的选择说明）
2. 边：类内全连接，类间代表节点为全连接。
   

3.训练过程

等同于异构转同构，GCN的框架训练网络得到embedding。

4. 测试阶段

可理解为将所有的class attributes映射到新的空间（即embedding），找到最相近的embedding以确定标签。