召回离线评估指标（二）

接着上一篇文章《召回离线评估指标（一）》，今天和大家接着聊聊推荐召回侧常用的其他离线评估指标。

(1).首先定义几个符号

@K: 用召回的TopK商品计算指标

RecSet: 策略召回的商品序列

BehSet: 用户未来N天有过交互行为的商品序列(N可以根据需要自行定义)

#(): 表示count()

MRR: Mean Reciprocal Rank

D+T: 表示从D天算起未来T天内

(2).离线评估指标

召回序列长度

定义：Length(D 策略所有召回商品)

意义：衡量策略计算结果的可用性

基尼系数

定义：按照类目的流行度(曝光次数)从大到小排序后，进行洛茨曲线的绘制。

意义：基尼系数越大代表所有类目的分布越不均匀，系数越小代表类目分布越均匀。

更新率

定义：描述推荐系统不断迭代过程中推荐结果变化程度的指标。(1-Jaccard)

意义: 是否重复过高。

发现性

定义：推荐系统对用户未产生过关系的商品的发现能力，用户过去一段时间内未点击，但是D+T中点击的。

意义：在全网商品中，可能有一些比较好的商品，但是用户从来都没有点击过类似的物品，这时候推荐系统推荐给用户的时候，用户很有可能会眼前一亮，满满惊喜。

上新率

定义：新内容被推荐系统推荐的曝光情况，这里可以从两个维度产出这项指标。

意义：衡量一个离线策略的计算能否覆盖到大部分的活动用户。

失效率

定义：表示系统没有推荐或推荐后未被用户点击数据占全集的比例。

S(0) 表示实际点击次数为 0 的数据个数；S 表示推荐集合的总数。

意义：首先需要定义一个时间范围来计算没有被推荐出的。其含义为最终未被用户真正感知的数据的占比，未感知包含未推荐和推荐出去后未被点击的内容。

本文主要给大家介绍了召回序列长度、基尼系数、更新率、发现性、上新率、失效率等六种推荐召回侧常用的离线评估指标。

欢迎大家关注微信公众号：计算广告那些事儿，除了原创文章之外，也会不定期和大家分享业内大牛的文章哈！