【方法】搜索排序评估方法

在策略相关的产品如搜索、排序、推荐等功能的评估中，除了一般性数据分析方法之外，还有有一些特有的且相对比较固定的评估工具，这些评估工具都取之于信息检索科学的常用评估方法。要了解这些首先要了解策略产品的效果评估，我们必须要引入一些必要的信息检索相关的知识。

1.召回率和准确率

信息检索领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:

召回率(Recall)=检索到的相关内容 / 所有相关的内容总数

准确率(Precision)=检索到的相关内容 / 所有检索到的内容总数

为了直观的描述这两个概念，我们用是否相关和是否被检索到两个维度的指标来对每一次信息检索之后的内容分类。是否相关指内容和检索条件是不是相关，如检索“酒店”，系统中所有的酒店内容就是相关，而“美食”的内容就是不相关的，一般情况下，相关的内容就是理论上需要完全被检索到的内容，这个数值和检索的策略或算法没有关系。是否被检索到是针对检索结果的描述指标，检索完成后我们才能对系统内容做是否被检索到的区分，这个数值和检索策略或算法相关。通过是否相关和是否被检索到两个维度的指标，我们可以将检索完成后的内容分为四类，如下图：

联系图表，召回率就是检索到的相关内容（A）在所有相关内容中的比例（A+C），而准确率就是检索到的相关内容（A）在所有检索到的内容（A+B）中的比例。

但是如何算图1中的A、B、C、D呢？一般，这需要人工标注，人工标注数据需要较多时间且枯燥，如果仅仅是做实验可以用已知的场景来测试，比如我们已知搜索“A酒店”应该出的搜索结果，那么我们就可以通过不同策略在搜索“A酒店”的表现来计算不同策略的A、B、C、D值，这种方式简便易行，能够针对性的解决问题，但是只能解决已知的问题。当然，还有一个办法，找个一个比较成熟的算法作为基准，用该算法的结果作为样本来进行比照，当然这个方法也有点问题，那就是我们无法得知天花板在哪里，也就是无法预知最佳效果如何。

在实际项目中，我们单方面追求准确率和召回率都是不对的。准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低；召回率低、准确率高。如果是做搜索，那就是保证一定召回的情况下提升准确率；如果做反垃圾、反作弊，则是保证一定准确率的条件下，提升召回率。

2.F值

一般情况，对同一个策略模型，用不同的阀值，可以统计出一组不同阀值下的精确率和召回率关系，我们称之为P-R曲线，如下图：