论文解读:(TransA)TransA: An Adaptive Approach for Knowledge Graph Embedding

文章提出了TransA模型,针对知识图谱中实体和关系的表示,改进了传统的基于翻译模型的损失函数。这些模型如TransE、TransH等,由于使用简单的欧氏距离,可能无法充分处理复杂的关系。TransA采用更灵活的自适应度量,通过度量学习思想提升表示能力,在实验中表现出优越性能。
摘要由CSDN通过智能技术生成

简介

先前的知识表示方法:TransE、TransH、TransR、TransD、TranSparse等。的损失函数仅单纯的考虑 h + r h + r h+r t t t在某个语义空间的欧氏距离,认为只要欧式距离最小,就认为 h 和 t h和t ht的关系为r。显然这种度量指标过于简单,虽然先前的工作在得分函数上做出了不错的改进,但训练的损失函数约束了表示的能力,因此,本文TransA模型的提出,主要对损失函数进行改进

虽然TransA的提出是在TransD、TranSparse之前,但实践表明TransA的提出很有价值

简要信息

在这里插入图片描述

摘要与引言

知识表示在人工智能领域内是非常重要的任务,许多研究试图将知识库中的实体和关系表示为一个连续的向量。通过这些尝试,基于翻译模型的表示方法是通过最小化头实体到尾实体的损失函数。尽管这些策略非常成功,但其损失函数过于简单,不能够很好的表示复杂多变的知识图谱。为了解决这些问题,我们提出TransA,一种对表示向量的自适应度量方法。根据度量学习的想法提出一个更灵活的嵌入方法。实验在几个基线数据集上完成,我们的模型获得了最优效果。
 * 根据度量学习提出一个更为灵活的嵌入方法。
 最近研究均涉及到知识图谱,像问答系统等需要对图谱进行表示,现如今提出的方法有TransE、TransH等。然而这些方法的度量标准仅仅是实体之间的欧氏距离,过于简单的损失函数不能够处理复杂多变的图谱
 (1)由于缺乏灵活的损失函数,当前的翻译模型均是应用球形等位超平面,因此越靠近中心,实体对与对应关系的向量越相似。如图所示,这是TransE模型在FreeBase上训练的向量通过PCA降维得到的图
在这里插入图片描述
橘黄色的为头实体,橘黄色的线与箭头则为对应的关系向量。蓝色的叉表示正确的尾实体,红色的圆点则是错误的尾实体,可知当简单的使用欧式距离来评判,会掺和进大量错误的实体。由于图谱是复杂多变的**,这一点很难避免**

)另外,由于过于简单的损失函数,使得当前几种翻译模型在对向量的每一个维度的训练处理方法相同。如图所示:

在这里插入图片描述
在这里插入图片描述

相关工作主要贡献

在这里插入图片描述

TransA

自适应度量分值函数

在这里插入图片描述

椭球面

在这里插入图片描述

特征加权

在这里插入图片描述

实现细节

采用距离排序损失函数
在这里插入图片描述

可以采用拉格朗日求梯度进行最小化。

经验

度量学习没了解过,先大致了解,后续深入研究,将其全部都搞定都行啦的样子与打算。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

big_matster

您的鼓励,是给予我最大的动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值