知识图谱评价指标的学习笔记——MAP，MRR

目前研究方向为知识图谱路径推理方向，最近在研读实验部分描写，针对学习了两个重要的评价指标。
参考链接：https://www.cnblogs.com/baiting/p/5138757.html

一. MAP（Mean Average Precision）

1.简洁的例子

单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。

例如：假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。某系统对于主题1检索出4个相关网页，其rank分别为1, 2, 4, 7；对于主题2检索出3个相关网页，其rank分别为1,3,5。对于主题1，平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2，平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。”
2.公式表达

3.在知识图谱中补全指标的理解
以NELL-995数据集为例，其中包含多个任务（task）
训练时，针对每个task训练（此时，每个task相当于例子中主题），因为存在错误的三元组对，所以，在全部三元组对（由正确三元组对和错误三元组对共同组成）排序时，越靠前的位置表明确定为正确三元组对的机会越大。与给定标签对比，找到正确三元组对在全部队列中的位置，记录，代入公式计算。注：每个任务中，都有多个正确三元组对。对应每个主题的不同相关网页。

二. MRR（Mean Reciprocal Rank）

是把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度，再对所有的问题取平均。相对简单，举个例子：有3个query如下图所示：

(黑体为返回结果中最匹配的一项)
可计算这个系统的MRR值为：(1/3 + 1/2 + 1)/3 = 11/18=0.61。