信息检索中的结果评价

一、无序结果评价

1.正确率（Precision）

Precision = 返回结果中的相关文档数 / 返回结果的数目

2.召回率（Recall）

Recall = 返回结果中的相关文档数 / 所有原本相关文档数目

3.F值，是Precision和Recall的调和平均值

F = （β^2+1）PR / (β^2P+R) ，β=1表示正确率和召回率的等权重，β<1表示强调正确率，β>1表示强调召回率。

二、有序结果的评价

1.MAP值（mean average precision，平均正确率值）

这里的“平均”指的是对query的平均。公式如下：

其中，Q是query的集合，mj表示qj对应的所有相关文档的文档数，Rjk表示返回结果中直到遇见文档k（也是相关文档哦！）所在位置前的所有文档集合，也就是说对应的precision在这个集合中来求。这样说比较晦涩，直观一点的说法就是：

Precision（Rjk） = 相关文档k在返回的相关文档中的位置 / 该文档在返回的所有文档中的位置

按照上面的理解来看就很好理解了，举个例子，某个系统针对某一个query返回了10个结果，该query对应的原有的所有相关文档有4篇，其对应的返回结果是：

R N R N N N N N R R（R表示相关，N表示不相关）

可以看到，四篇相关文档都返回了，并且分别是返回结果的第1,、3、9、10篇文档，由于只计算了一个query，那么这里的|Q| = 1,则公式的第一个求和运算可以忽略了。只看第二个，那么这里的计算公式应该是

因为有原本应该有4篇相关文档，因此mj=4，括号中的运算对应的是第二个求和运算，返回的第1篇相关文档在返回结果的第1个位置，因此是1/1，第2篇相关文档在返回结果的第3个位置，因此是2/3,依次类推可得。

观察此公式可以了解评估的合理性，该公式考虑了应有相关文档数、返回的相关文档数和相关文档的位置。如果返回的相关文档少，那么括号中的求和就少，那么计算的总体结果也小，例如上例中的返回结果，如果只返回了3个相关结果（第10个是不相关的），那么4/10这项将不存在。如果返回的相关文档排序在所有的相关文档中靠后，那么求和中的分母就会偏大，那么得到的评价值也会偏低，例如假设将上述序列的前两个交换位置，那么求和的第一项将变成1/2。想要得到的评估值高，就应该尽可能多的返回相关文档并且相关文档的位置要尽可能靠前。

2.NDCG值

上面的MAP值已经考虑了位置，但是上面的评估值考虑了是否相关，并没有考虑到相关度的高低。在很多检索系统的标注体系中，都是按照相关度高低来排的，例如某系统对一个query返回的文档标注级别为0、1、2、3、4，分别代表4个级别的相关度（也称得分），4表示最相关，而0表示最不相关，对于这种多级的相关度，MAP就无法评估了，这里可以采用NDCG值来评估。

先介绍CG值（calculate gain）：

p表示计算的是返回的前p个文档，reli表示第i篇文档的相关性（得分），可以看到这里值考虑了返回文档的相关性高低，并没有考虑位置。

再介绍DCG（discounted calculate gain）：

这里考虑了位置关系，如果一个得分高的文档位置靠后了，则应该受到惩罚，公式：

这里第一篇文档没有算进去是因为后面求和中分母有log运算。当然，公式不唯一，还可以用下面的公式：

这个公式解决了上面的平滑问题，还有，该公司也能适用于MAP评估所使用的二级评估。

最后是NDCG（normalized discounted calculate gain），计算公式如下：

其中，DCG表示的是实际返回的序列的DCG值，而IDCG表示的是理想情况下的序列的DCG值。

例如，检索系统返回了6篇文档，从第一篇到第六篇的相关度分别是3、2、3、0、1、2

那么理想的排序应该是3、3、2、2、1、0

分别计算这两个序列的DCG值，用前者的值除以后者的值，就得到了该序列的ndcg值。

注：我们时常提到的NDCG_n值，表示的是考虑返回序列的前n个结果的NDCG值，例如，上例中计算的就是NDCG_6的值，这里的n就等同于上面公式中的p。

转自：http://blog.csdn.net/steven30832/article/details/8612248