广告召回率是什么意思_广告中召回和粗排的评价标准

我们限定下本文的适用范围，其一是广告，与推荐不同，比如广告召回可能受限于某些定向条件，排序标准也不一样；其二基于ecpm，ecpm=ctcvr*bid，有很多变种，但最终都是在某个跟ecpm类似的可归一比较数值

首先是召回，业界比较常用的是离线看hitrate或者召回率，线上看单路曝光量和预估的ctcvr。比如在这个文章了描述了不少，https://juejin.im/post/5e4807c751882549422ece2e。然后是粗排，粗排由于是排序，会有很多跟精排相同的指标来衡量。

今天在这里我想说一个最近思考的一个评价指标，这个指标可能有副作用，后面会补充完善。这个指标就是包含当时情景下top的概率，比如召回1000，粗排出100，精排出4。精排的4是受粗排这100的框定，只能在100里头选top4。而粗排的100也是受前面1000的限制。如果有上帝视眼，精排的top4应该是当时条件下最合理，最优的top4。但这一点其实没法保障，我们能做的是提高涵盖top的概率。

但涵盖top的概率这个指标并不好计算，可以在一台流量拷贝机上来做，当然也得修改代码，把1000个或者粗排的100个广告都按照精排算一个预估值，然后排序，选当时最优的top4，这样跟精排实际输出的top4进行比对。当然这个事情得在线做，保证当时取到的特征在召回、粗排和精排之间是一致的。

Btw，这里引入覆盖top的概率这个指标后，咱们是不是可以对粗排的精确度适当放宽？比如用pairwise的方式来进行，这强调序呢？如果只有一个排序队列，这个问题不大，但如果需要跟其他队列进行综合排序，就得有预估值，得做pointwise。比如你有ocpx队列，还有cpm队列，ocpx内部粗排可以用pairwise，最终两个队列合并的时候，需要有ecpm进行比较。