【机器学习百问】9.既然有离线测试为什么需要在线A/B测试？如何进行？

难度系数： （1/5）

答案：
使用在与真实工作环境相似的线上，可以更真实的评估模型性能；

什么是A/B测试：
A/B测试是同时为产品制定A和B两个版本，让目标客户随机访问，收集体验数据和结果，最后分析，评估出较好的版本来正式采用；

如何进行：
将用户无偏（每次选用户时使用随机数生成得到用户ID来保证无偏）的分到两个桶中，保证一个用户一次只能分进一个桶中，然后对两个桶中分别使用旧模型和新模型。

需要A/B在线测试原因：

1. 离线评估无法完全消除模型过拟合的风险；
2. 离线评估无法还原真实的线上工作环境；
3. 线上系统的某些商业指标离线评估无法计算；