实体对齐评价指标

本文探讨了表示学习中实体链接的向量表示过程,介绍了如何通过翻译模型优化向量,并详细解释了hits@10、MeanRank和MeanReciprocalRank三种常用的测试与评价方法,以衡量算法在关系三元组中的准确度。
摘要由CSDN通过智能技术生成

实体对齐评价指标

​ 表示学习的过程,其实就是实体链接的过程,首先把实体以及关系随机初始化为一定长度的向量,然后基于训练数据,希望通过类似于翻译的方式得到一个更优的向量表示,使 头实体+关系 尽可能的与尾实体的向量表示相近。在完成训练之后,如何测试、如何衡量我们得到的结果的好坏呢。

​ 在测试过程中,对于一对关系及实体,我们将头实体或尾实体替换成任意一种其他的实体(共n-1个,保持另一个实体以及关系不变,只变其中一个实体),这样我们得到了(n-1)个新的关系三元组,然后我们对这些三元组计算实体关系距离,将这n-1个三元组按照距离从小到大排列。

hits@10(H@10):在这个排好序的n-1元素中,我们从第一个开始遍历,看从第一个到第十个是否能够遇到真实的实体,如果遇到了就将(hit@10 +1),表示我们的算法能够正确表示三元组关系的能力(在hit@10里 不要求第一个才是对的,能做到前十的能力就可以了)

Mean Rank(MR):计算在测试集里,平均到第多少个才能匹配到正确的结果

Mean Reciprocal Rank(MRR):是一个国际上通用的对搜索算法进行评价的机制,即第一个结果匹配,分数为1,第二个匹配分数为0.5,第n个匹配分数为1/n,如果没有匹配的句子分数为0。最终的分数为所有得分之和。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值