召回离线评估指标（一）

居家办公一周了，上海疫情的“拐点”却迟迟未到，刚在小区楼下配合测完核酸，回到家里吃了口老坛酸菜面（不加酸菜包）冷静冷静。言归正传，今天想和大家聊聊推荐召回侧常用的离线评估指标。

(1).首先定义几个符号

@K: 用召回的TopK商品计算指标

RecSet: 策略召回的商品序列

BehSet: 用户未来N天有过交互行为的商品序列(N可以根据需要自行定义)

#(): 表示count()

MRR: Mean Reciprocal Rank

D+T: 表示从D天算起未来T天内

(2).离线评估指标

Percision@K

定义：#(RecSet ∩ BehSet) / #(RecSet)

意义：计算单个策略召回的商品序列的准确性

Recall@K

定义：#(RecSet ∩ BehSet) / #(RehSet)

意义：计算单个策略召回的商品序列的召回率

HitRate@K

定义：

意义: 对用户的命中率

MRR

定义：

意义：平均倒数排名，有考虑推荐结果的次序

用户覆盖率

定义：#(D活跃用户中能调用召回策略的用户)/#(D+T活跃用户)

意义：衡量一个离线策略的计算能否覆盖到大部分的活跃用户

商品覆盖率

定义：#(distinct D 策略召回商品) / #(D+T 商品库中所有商品)

意义：描述策略对物品发掘的能力

叶子类目丰富度

定义：#(distinct D 策略召回商品中叶子类目数量) / Count(D+T 所有商品叶子类目数量)

意义：衡量一个离线策略的计算结果的健康度

本文主要给大家介绍了percision、recall、hitrate、mrr、用户覆盖率、商品覆盖率、叶子类目丰富度等七种推荐召回侧常用的离线评估指标。另外还有几种常见的指标会在下一篇文章中为大家介绍，希望大家能持续关注。如果你喜欢我的文章或者我的公众号，记得分享、点赞、顺便点个在看再走哦！

欢迎大家关注微信公众号: 计算广告那些事儿，除了原创文章之外，也会不定期和大家分享业内大牛的文章哈！