知识图谱常用评价指标：MRR，MR，HITS@K，Recall@K，Precision@K

一、MRR

MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。该指标越大越好（即预测排名越靠前，倒数就越大，求和结果越大越好）。具体的计算方法如下：

$MRR=\frac{1}{|S|}{\sum }_{i=1}^{|S|}\frac{1}{ran{k}_i}=\frac{1}{|S|}(\frac{1}{ran{k}_1}+\frac{1}{ran{k}_2}+\cdot \cdot \cdot +\frac{1}{ran{k}_i})$

其中$S$是三元组集合，$|S|$是三元组集合个数，$ran{k}_i$是指第$i$个三元组的链接预测排名。例如，对于三元组(Jack，born_in，Italy)，链接预测的结果可能是:

h	r	t	score	rank
Jack	born_in	Ireland	0.789	1
Jack	born_in	Italy	0.753	2
Jack	born_in	Germany	0.695	3
Jack	born_in	China	0.456	4
Jack	born_in	Thomas	0.234	5

那么，三元组(Jack，born_in，Italy)的链接预测排名则是2.

二、MR

MR的全称是Mean Rank。该指标越小越好（排名越靠前rank越小，求和也就更小），具体的计算方法如下：
$MR=\frac{1}{|S|}{\sum }_{i=1}^{|S|}ran{k}_i=\frac{1}{|S|}(ran{k}_1+ran{k}_2+\cdot \cdot \cdot +ran{k}_i)$

三、HITS@K

top-k推荐：从最后的按得分排序的推荐列表中返回前k个结果。
该指标是指在链接预测中排名小于$k$的三元组的平均占比。具体的计算方法如下：

$HITS@K=\frac{1}{|S|}{\sum }_{i=1}^{|S|}\mathbb{I}(ran{k}_i\le k)$

其中，上述公式涉及的符号和MRR计算公式中涉及的符号一样，另外$\mathbb{I}(\cdot )$是indicator函数（若条件真则函数值为1，否则为0）。一般地，取k等于1、3或者10。该指标越大越好。

四、Recall@K，Precision@K

首先需要搞清Recall和Precision的含义，具体含义参考：分类之混淆矩阵(Confusion Matrix)
；类比HITS@K。

Precision@K准确率是指前topK结果中检索出相关结果数与检索出的结果总数的比率，衡量的是检索系统的查准率；
Recall@K召回率是指前topK结果中检索出的相关结果数和库中所有的相关结果数的比率，衡量的是检索系统的查全率。

参考链接

1. KGE性能指标：MRR，MR，HITS@1，HITS@3，HITS@10
   
2. 评测标准召回率Recall@K的理解与实例解析
3. 知识图谱-常用评价指标-MRR、MR和HIT@n
4. MRR,MAP等评估方法(常用与IR和QA任务)