【推荐算法的评估与调试】离线评估+在线A/B Test

最新推荐文章于 2024-07-21 13:38:21 发布

masterleoo

最新推荐文章于 2024-07-21 13:38:21 发布

阅读量944

点赞数 23

分类专栏：推荐系统文章标签：推荐算法算法机器学习

本文链接：https://blog.csdn.net/m0_48086806/article/details/139655162

版权

6 篇文章 1 订阅

订阅专栏

1）离线评估：在相同的训练集上，不同算法训练出新旧两版模型，在同一个测试集上进行评估。若新模型的指标优于旧模型，则通过离线测试，可进入下一阶段。注意：离线评估的训练集一般采用连续3天或7天的历史数据；在第4天或第8天的数据上测试

2）上线前回溯：新模型在上线评估之前必须先进行回溯，比如自两周前的历史数据开始训练，直到追平并接入线上的实时样本流。之后，新旧模型就能够同步接收线上的实时反馈并自我更新，才能进行后续A/B实验的在线评估

3）在线评估：A/B 实验，随机划分为两份流量：控制组（流入老模型）；实验组（流入新模型，可以有多个）。实验一段时间后，统计关键业务指标（例如CTR、平均观看时长等），若实验组显著优于控制组，就认为新模型优于旧模型，可考虑推广至全部流量

1、离线评估

$\frac{正确排序的样本对}{所有样本对}$
一个正样本和负样本可组成一个样本对
正确排序是指按概率，将正样本排在负样本之前
下图显示的AUC为7/9

从上述定义来看，AUC天然适合衡量模型的排序性能，然而AUC体现的是全局的性能，会将所有用户的排序结果都考虑进来，可能会存在失真，因此可以引入GAUC（Groupwise AUC），将样本划分为group，每个group计算一个AUC，最后再加权平均
一般以用户为单位划分group计算GAUC：
$\frac{ {\textstyle \sum_{u}w_uAUC_u} }{\sum_{u}n_u}$

$AUC_u$ 是在用户u的样本上计算的AUC， $n_u$ 是给用户u曝光过的物料数目

由于AUC/GAUC只能针对的是二分类，对于CTR、CVR指标是可以的，针对实数型目标（比如观看时长、销售金额），可以转换为二分类目标，例如是否会有效播放（观看超过15秒）、是否会长播放

需要注意的一点是，物料在展示列表的位置可以反映物料的价值（越靠前，价值越高）
而AUC无法反应排序位置这个因素的影响
因此，引入DCG（Discounted Cumulative Gain）指标：
$\sum_{k=1}^{K}\frac{2^{c_k}-1}{log_2{k+1}}$

K是排序结果的长度
$c_k$ 是第k个位置的物料贡献，未点击为0，点击为观看时长、点赞等的函数
从上述公式可看出，越靠后的位置，其DCG越大

为了做归一化，定义理想情况下的DCG为IDCG，即按照物料的真实贡献从高到低排序计算出的DCG，然后得到NDCG（Normalized DCG）：
$\frac{DCG@K}{IDCG@K}$
由于排序长度不同，直接计算DCG不易比较，而归一化后的NDCG可以进行比较

如果用AUC进行评估，正样本为点击过的样本，而负样本若为曝光未点击的样本，与召回的真实样本情况（包含大量和用户毫不相关的样本）不符；若负样本为除点击之外的其他物料，也不能保证这些物料一定不喜欢
＊因此，要避免直接统计负样本，而是从预测的正样本与真实的正样本之间的命中率、覆盖度角度进行评估

$u_i$ 表示第i次推荐请求的用户
$T_i^{expose}$ 表示第i次请求中向用户曝光的物料集合
$T_i^{click}$ 表示用户点击的物料集合

计算得到的** $P rec i s i o n @ K$ ：平均下来，每次召回的物料中真正被用户喜欢的占比； $R ec a ll @ K$ ：平均下来，一个用户真正喜欢的物料中有多大占比能被模型召回。**

Precision和Recall是一对此消彼长的指标，即召回的越多，Recall越高，Precision会随之下降
因此采用AP值来衡量召回能力比P和R值更全面，计算过程为：设置不同i值，即取前i个物料作为召回结果计算PR曲线，以及曲线下面积即为AP。AP值的计算方法如下：
$\frac{ {\textstyle \sum_{i=1}^{K}}Precision@i\times IsPositive@i }{TotalPositives}$