知识表示模型汇总分析--Trans系列

最新推荐文章于 2024-05-20 17:27:41 发布

LucyGill

最新推荐文章于 2024-05-20 17:27:41 发布

阅读量7.5k

点赞数 5

本文链接：https://blog.csdn.net/LucyGill/article/details/83473397

版权

本文分析了TransE、TransH、TransR、CTransR和TransD等知识图谱表示学习模型，探讨了它们的原理、优缺点及相互之间的关系。TransE通过向量平移建模，而TransH、TransR和CTransR引入超平面和关系空间以处理复杂关系。TransD进一步考虑实体类型，动态映射矩阵以提高表示能力。

摘要由CSDN通过智能技术生成

作者：孙天祥
链接：https://zhuanlan.zhihu.com/p/43436288
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

因为还根据自己的理解补充了点儿内容，就标为原创了。下面是正文：

近年来，以深度学习为代表的表示学习迅速发展，在很多领域都取得了巨大进展。简而言之，表示学习将要描述的对象表示为低维稠密向量，这也被称为分布式表示，从而有效解决了数据稀疏问题，并且便于在低维语义空间中进行计算。将表示学习应用于知识图谱（Knowledge Graph, KG），即是知识表示学习。

在当前的主流知识库中，知识被存储为 (h, r, t) 的三元组形式，其中表示头实体，表示联系，表示尾实体。知识表示学习的任务就是学习 h, r, t 的分布式表示（也被叫做知识图谱的嵌入表示(embedding)）。

目前，知识表示学习方法从实现形式上可以分为两类：基于结构的方法和基于语义的方法。基于结构的嵌入表示方法包括TransE, TransH, TransR&CTransR, TransD等，这类方法从三元组的结构出发学习KG的实体和联系的表示；基于语义的嵌入表示方法包括NTN, SSP, DKRL等，这类方法从文本语义的角度出发学习KG的实体和联系的表示。

知识表示学习从发展来看可以分成两个阶段，以2013年Borders等人受Mikolov发现的语义空间中词向量的平移不变现象启发，从而提出了翻译模型(TransE)为分割。在TransE之前，有Structed Embedding, Semantic Matching Energy等模型，在TransE之后，人们在此基础上进行改进，依次提出了TransH, TransR, TransD等模型。接线来介绍基于TransE的改进模型。

作者：孙天祥
链接：https://zhuanlan.zhihu.com/p/43436288
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

TransE

论文：Translating Embeddings for Modeling Multi-relational Data. Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, Oksana Yakhnenko. NIPS 2013.

我们用表示头实体向量，用表示尾实体向量，用表示关系向量，TransE模型的目标就是让 t-h 尽可能地等于，即 $t-h\approx r$ 。其评分函数为：

$f_r(h, t) = \lVert h+r-t\rVert _{L_1/L_2}$

显然，对于正确的三元组，应该有较低的得分。在训练过程中，使用等级损失函数，这是因为在当前情况下我们没有就标签而言的监督，只有一对正确项 $(h,r,t)\in \Delta$ 和不正确项 $(h',r',t')\in \Delta'$ ，我们的目的是让正确项的得分比不正确项高。这种情况出现在我们只有正例时，知识图谱就是这种情况，我们只知道正确的三元组（golden triplet），再通过破坏一个正例来生成负例。等级损失就适用于这种情况，因此我们定义损失函数：

$L = \sum_{(h,r,t)\in \Delta}\sum_{(h',r',t')\in \Delta'}\max (f_r(h,t)+\gamma -f_{r'}(h',t'),0).$

上式中的 $\gamma$ 表示正例和负例得分的最小间隔(margin)，实际使用时常取 $\gamma=1$ .

博主注：

我们的目标是让f(h,t)最小，让f(h',t')最大。开始我觉得上面的公式不对，

最低0.47元/天解锁文章

LucyGill

关注

5
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
知识表示模型汇总分析--Trans系列

作者：孙天祥链接：https://zhuanlan.zhihu.com/p/43436288来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。因为还根据自己的理解补充了点儿内容，就标为原创了。下面是正文：近年来，以深度学习为代表的表示学习迅速发展，在很多领域都取得了巨大进展。简而言之，表示学习将要描述的对象表示为低维稠密向量，这也被称为分布式表示，从而...
复制链接

扫一扫