Knowledge Graph Embedding,KGE模型性能中最常用的几个指标:MRR,HITS@1,HITS@10。MRR和HITS@10是两个重要指标,不可缺少,MR不被看作是一个好的指标,所以不进行介绍。
1、MRR
MRR的全称是Mean Reciprocal Ranking,其中Reciprocal是指“倒数的”的意思。具体的计算方法如下:
其中是三元组集合,是三元组集合个数,是指第个三元组的链接预测排名。该指标越大越好。例如,对于三元组(Jack,born_in,Italy),链接预测的结果可能是
如下图所示,三元组(Jack,born_in,Italy)的链接预测排名则是2.
s p o score rank
Jack born_in Ireland 0.789 1
Jack born_in Italy 0.753 2 *
Jack born_in Germany 0.695 3
Jack born_in China 0.456 4
Jack born_in Thomas 0.234 5
2、HITS@n
该指标是指在链接预测中排名小于的三元组的平均占比。具体的计算方法如下:
其中,上述公式涉及的符号和MRR计算公式中涉及的符号一样,另外是indicator函数(若条件真则函数值为1,否则为0)。一般地,取等于1、3或者10。该指标越大越好。