Rethinking Knowledge Graph Propagation for Zero-Shot Learning

Rethinking Knowledge Graph Propagation for Zero-Shot Learning(零样本的知识图谱传播再思考)

代码：  https://github.com/cyvius96/adgpm.

摘要：图卷积神经网络对于零样本学习上有很大的潜力，模型能够很强的泛化能力生成新类，当缺少样本的时候，然而，多层架构需要在图中传播，传播的过程中使用拉普拉斯光滑会相应的导致知识的减少，进一步的模型的性能会有所损失；为了更好地保留图神经网络中的知识，我们提出了稠密传播模型（dense graph propagation module），此模型可以对其节点之间的关系来添加联系；

 

1. 引言

 

随时数据量与物品类别的增加，我们需要使用先验知识来进行分类，这个是零样本分类；相较于基于先验知识的建模来说，先验知识可以是语义描述、属性、词嵌入量等；目前在非欧式距离的发展的非权重的知识图谱，比如说图、展开空间，图卷积神经网络用来处理回归问题，其在每层可以产生值，这些权重向量对应于最后一层，GCN可以平衡模型的复杂性与表达性之间的关系，这些模型用于分类，虽然半监督的；最近的工作中，GCN使用拉普拉斯平滑可以导致特征越来越相似，不利于分类，我们认为这种方不是零样本学习的最好方法，我们 实验论证了这个现象，选择浅层（1层）GCN会导致只考虑邻近节点的对于节点的影响，因此作者提出了一种新的连接方式，节点可以直接与父类/子类节点相连接，这种连接能够连接远距离信息，但是不能够得到图形架构的信息，所以我们进一步的提出通过距离来判定权重，此方法平衡了灵活性与重构性可以对节点更好地预测；如图1所示，第一步，the dgp 被训练来预测最好一层的权重；第二，我们使用GDP预测的权值代替CNN最后一层的，冻结权重值，通过优化的所见类的交叉熵分类损失对CNN剩余权值进行细化；

我们主要的贡献；

（1）、分析了零样本学习的直觉并说明了如何结合DGP技术

（2）、我们的DGP模型，暂时了其知识模型的框架能力

（3）、提出了权重的衡量方式在节点之间

（4）、实验结果优于现有方法

 

1. 相关工作

图卷积网络：这种方法为作者提出的模型奠定了基础

零样本学习：GCN被训练用来预测在预训练CNN特征的分类器上 分类不可见的类，此方法发挥很大的作用；

1. 方法

3.1 图卷积网络用于零样本学习：

利用knowledge graph与词嵌入预测分类器用于可见与不可见的零样本学习，如CNN的最后一层，具体的框架如图2所示，CNN最后一层被解释为一个特定分类器输出类，两样本任务被表示为每个不可见类的一组新权重，DGP输入联合的知识图谱来预测类别；其可以捕捉语义信息对于每个特定的层，在这个参考中，预测权重来分类；

3.2 稠密图传播模型

此方法使用高级图结构用于零样本学习任务，避免知识衰弱，分为两个阶段来表达节点的连接性，父类与子类，与GCN不同，不直接使用知识图谱来表示邻居节点，由此避免了知识减少的问题，我们引入了两个分离的连接模式，一个是连接所有父类、另一个连接所有子类，使用两个临接矩阵，此方法直接可以连接所有节点，并不会因中间节点有所改变，如图1

距离加权方案：此距离是知识图谱上，并非抽密图，

3.3 微调

训练过程分为两个阶段；第一个阶段是训练DGP来预测预训练CNN的最后一层的权重，为了是适用特征的新类，使用交叉熵来优化CNN，这个阶段，最后一层的权重由权重与训练的类别，只有这个特征表达被更新；可以看做是DGP约束下的对CNN控制输出空间；

4 实验

与以往利用图卷积神经网络进行零样本习的方法相比，我们证明了零样本学习的任务得益于浅层网络。此外，为了避免浅层模型中节点间信息传播的不足，我们提出了DGP，它利用知识图的层次结构，加入加权稠密连接方案。实验证明了该方法的有效性，其性能优于已有的零样本学习方法。在未来的工作中，我们的目标是研究更先进的加权机制的潜力，以进一步提高DGP相对于SGCN的性能。未来的另一个方向是，为节点子集中可用的设置添加额外的语义信息