Translating Embedding for Modeling Multi-relational Data

研究意义:

1、学到了实体(entity)和关系(relation)的embedding表示

2、模型简单而有效，容易训练

3、启发了整个Trans系列知识表示学习，代表性工作有transH，transR，transD

4、引用量较高

 

本文主要结构如下所示:

一、Abstract

           提出基于一对多关系数据的建模，将实体和关系映射到低维空间

           摘要主要说明以下几个主要的关键点:

           1、使用低维向量表示三元组数据(知识图谱)的实体和关系

           2、易于训练、模型参数少、可以扩展到大的数据

           3、模型的损失函数是基于实体和关系向量的计算(translations)

           4、通过边的预测等任务在两个数据集验证了模型的有效性

二、Introduction

          多关系数据广泛存在于社交网络、推荐系统、知识图谱，但是难点再于多类型的边

三、TransE

          基于embedding最大间隔负采样，提出transE模型

 

目标函数构建

 

四、Related Work

          与SE、SME、LFM模型比较TransE模型减少了参数，而且模型更有效

 

五、Experiment

          实验选取wordnet和freebase数据集，探究模型有效性，边的预测，案例分析

          边预测效果:

       

          三元组分多个类别效果统计:

 

         案例分析:

 

        新关系预测:

 

六、Conclusion

         总结TransE的优点、参数少、效果好、易扩展

         关键点: 1、三元组的表示方式  2、负样本构建   3、损失函数的构建  

         创新点: 1、transE基础模型  2、较多的论证实验

 

七、Code

         开源代码: https://github.com/thunlp/OpenKE       

 

八、Trans系列后期改进算法(附加)

 TransE存在的问题是: 一对多、多对一、多对多问题，导致实体向量表示相同

 TransH解决上述TransE存在的问题，主要思路是因为实体在不同关系上有不同的embedding，主要操作方式是映射到超平面上

          TransE和TransH算法存在的问题是: 实体和关系由于是不同类型的点，可能存在于不同的空间

          TransR解决思路是将实体映射到关系的空间上，主要通过矩阵的转换映射

         TransR存在的问题是：同一个关系对应的实体是同样的映射；映射只由关系决定；矩阵转换操作复杂度较大

         TransD解决思路是: 将M用向量表示替代

          Trans系列算法对比: