进行在线A/B测试的原因:
- 离线模型不能消除过拟合问题。离线评估结果无法完全代替线上评估结果。
- 离线评估不能还原线上工作环境。比如环境延迟、数据丢失、标签缺失等等。
- 线上系统的商业指标在离线评估中无法计算。线上评估可以全面了解到用户点击率、留存时长等数据的变化。
如何进行在线A/B测试:
用户随机分桶,实验组-新模型,对照组-旧模型,要保证样本的独立性和采样的无偏性。
如何分桶:
避免散列、稀疏、有偏。
进行在线A/B测试的原因:
如何进行在线A/B测试:
用户随机分桶,实验组-新模型,对照组-旧模型,要保证样本的独立性和采样的无偏性。
如何分桶:
避免散列、稀疏、有偏。