【机器学习百问】9.既然有离线测试为什么需要在线A/B测试?如何进行?

难度系数: (1/5)

答案:
使用在与真实工作环境相似的线上,可以更真实的评估模型性能;

什么是A/B测试:
A/B测试是同时为产品制定A和B两个版本,让目标客户随机访问,收集体验数据和结果,最后分析,评估出较好的版本来正式采用;

如何进行:
将用户无偏(每次选用户时使用随机数生成得到用户ID来保证无偏)的分到两个桶中,保证一个用户一次只能分进一个桶中,然后对两个桶中分别使用旧模型和新模型。

需要A/B在线测试原因:

  1. 离线评估无法完全消除模型过拟合的风险;
  2. 离线评估无法还原真实的线上工作环境;
  3. 线上系统的某些商业指标离线评估无法计算;
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页