设有一个test集,大小为M,对其进行分类,label的数目共有N个。那么预测结果共有M个,每个结果是对于N个label的评分,设第i个test目标的groud-truth排名为。
MR(Mean Rank,平均排名):
MRR(Mean Reciprocal Rank,平均倒数排名):
可见,MR越小越好,MRR越大越好。
MR的取值范围:
MRR的取值范围:,(注意倒数,即1除以原数,而不是倒着数)
举例:
N=1000,M=10,
eg1:排名结果是前9个都是1,最后一个是1000,
那么MR=100.9,MRR=0.9001
当rank非常不均衡,MR不如MRR
eg2:排名结果是全都是4
那么MR=4,MRR=0.25
当rank非常均衡,MRR不如MR
所以为充分考虑,需要同时考察MR和MRR