KGE,知识图谱嵌入(Knowledge Graph Embedding),衡量kge模型性能主要有以下几个常见的指标,有MR、MRR和Hits@n
MR(Mean Rank):是平均排名
MRR(Mean Reciprocal Ranking):是平均倒数排名
Hits@n:是排名小于等于n的三元组的平均占比
很多人很疑惑,这个排名是指什么的排名?平均排名和平均倒数排名又是什么?
是这样子的,在进行知识图嵌入的时候,首先把实体以及关系随机初始化为一定维度的向量,然后进行训练,目的是使(头实体+关系)向量与尾实体向量在空间中的表示尽可能相近。训练完成后,需要衡量嵌入的质量,因此MR、MRR、Hits@n这几个指标就是用来衡量嵌入的质量。
在评估时,是需要对所有的三元组进行计算的,假设有m组正确的三元组,对于每一组正确的三元组,我们需要将该组的尾实体换成任意一种其他实体,共替换n-1个(因为正确的三元组占有一个名额),然后将这n个三元组(一个正确的、n-1个替换的)的实体关系距离进行求值,得出分数,将这n个三元组按照 距离从小到大排列,然后找出那个正确的三元组在这n个三元组中的排名记为rank1;
再根据上面的方法计算出另外(m-1)组三元组中 每组正确实体在其组中的各自的排名rank2、rank3、···、rankm,则MRR、MR、Hits@n的值则为:



值得注意的是:Hits@n指标中,n常取的1、3、10