WWW2021-An Adversarial Transfer Network for Knowledge Representation Learning笔记

1. Motivation：已有知识表示学习方法在稠密KG上性能较好，但对长尾实体表达能力会受限；由于KG语义特征有限，有方法引入外部信息如实体描述进行学习，对文本数据编码会带来高计算成本；为了不损失性能情况下提升嵌入表示质量，本文提出一种对抗迁移网络，通过对齐的实体集将知识从一个或多个teacher KG传输到target KG，而不出现显式的数据泄漏。不需要获取teacher KG中的关系和三元组，只使用实体的表示。

2. 核心思想：给定一个teacher KG, 一个target KG以及构建的对齐的实体集合，将teacher KG中特征迁移到target KG

针对如何迁移特征：距离约束（distance constraint），三元组约束（triplet constraint）

针对如何有效迁移特征：对抗性适应模块（adversarial adaption module）解决teacher和target KG可能的分布差异；判别器评估对齐实体对的嵌入表示的一致性，一致性分数作为软约束的权重；

3. 两种迁移场景：对齐的实体概念相同/有效（transferable）；概念不同/无效（not transferable）

4. 整体框架图：

（1） embedding module: transe

 

（2） embedding transfer module:
       a. 距离约束：对齐的实体的嵌入表示在目标空间应该尽可能地靠近；通过cosine距离实现
        

         

       b. teacher实体应该符合对齐的目标实体对应的三元组；通过三元组上基于margin的loss实现

        

        训练目标：

        

（3）adversarial adaption module: 根据对齐实体的一致性动态地适应约束的权重，通过条件生成对抗网络实现；（对齐实体对语义不总一致，邻居越相似，约束提供的监督就越强）
        a. 条件分布:

        

         b. 判别器的训练：

                

        输出作为前面两种约束的权重，适应后的距离函数定义为：

         

5. 实验：

（1）数据集：两个双语数据集和一个tri-source数据集

（2）KGC：为给定三元组预测缺失的头/尾实体 

（3）Baselines:

        a. 浅层表示模型: TransE, DistMult, ComplEx, RotatE;

        b. CTransE：不包含对抗性适应模块的迁移表示

（4.1） 相比表示学习模型，在大多数指标上达到最优；相比基于transfer的baseline，在所有指标上优于CTransE，说明动态权重可以提升性能

（4.2） ablation study: 说明两种constraints的重要性；结论：两种约束都有作用

（4.3） 在其他embedding模型上的扩展：ATransE (DistMult/ ComplEx/ RotatE)

（4.4） 在teacher KGs上的扩展：
        a. teacher KGs用不同的语言，不同的对齐比例，不同的数据源；
        b. 多个teacher KGs

        结论：可以用于有不同语言以及不同来源的两个KG，不需要teacher KG比target KG稠密，从不同teacher KGs的迁移学习过程不会互相影响；

（4.5）超参的影响