KGE性能指标:MRR,MR,HITS@1,HITS@3,HITS@10

        本文将介绍用于衡量知识图谱嵌入(Knowledge Graph Embedding,KGE)模型性能中最常用的几个指标:MRR,MR,HITS@1,HITS@3,HITS@10。

一、MRR

        MRR的全称是Mean Reciprocal Ranking,其中Reciprocal是指“倒数的”的意思。具体的计算方法如下:

\mathbf{MRR}=\frac{1}{|S|}\sum_{i=1}^{|S|}\frac{1}{rank_i}=\frac{1}{|S|}(\frac{1}{rank_1}+\frac{1}{rank_2}+...+\frac{1}{rank_{|S|}})

其中S是三元组集合,|S|是三元组个数,rank_i是指第i个三元组的链接预测排名。该指标越大越好。例如,对于三元组(Jack,born_in,Italy),链接预测的结果可能是

s        p         o            score   rank
Jack   born_in   Ireland        0.789      1
Jack   born_in   Italy          0.753      2  *
Jack   born_in   Germany        0.695      3
Jack   born_in   China          0.456      4
Jack   born_in   Thomas         0.234      5

那么,三元组(Jack,born_in,Italy)的链接预测排名则是2.

二、MR

        MR的全称是Mean Rank。具体的计算方法如下:

\mathbf{MR}=\frac{1}{|S|}\sum_{i=1}^{|S|}{rank_i}=\frac{1}{|S|}({rank_1}+{rank_2}+...+{rank_{|S|}})

上述公式涉及的符号和MRR计算公式中涉及的符号一样。该指标越小越好。

三、HITS@n

        该指标是指在链接预测中排名小于n的三元组的平均占比。具体的计算方法如下:

\mathbf{HITS@}n=\frac{1}{|S|}\sum_{i=1}^{|S|}{\mathbb{I}(rank_i\leqslant n)}

其中,上述公式涉及的符号和MRR计算公式中涉及的符号一样,另外\mathbb{I}(\cdot )是indicator函数(若条件真则函数值为1,否则为0)。一般地,取n等于1、3或者10。该指标越大越好。

四、从论文上发现的观点

        MRR和HITS@10是两个重要指标,不可缺少。MR则不被认为是一个好的指标。

五、参考

        NSCaching: simple and efficient negative sampling for knowledge graph embedding

        How is hits@k calculated

  • 33
    点赞
  • 80
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞机火车巴雷特

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值