AB测试相关问题

在对模型进行过充分的离线评估之后，为什么还要进行在线 A/B测试？？？？

1、离线评估无法完全消除模型过拟合的影响，因此，得出的离线评估结果无法替代线上评估结果
2、离线评估无法完全还原线上的工程环境，一般来讲，离线评估往往不会考虑线上环境的延迟，数据丢失，标签数据缺失等情况，因此，离线评估的结果是理想工程环境下的结果
3、线上系统的某些商业指标在离线评估中无法计算。

离线评估往往关注的是ROC曲线，P-R曲线等的改进，而线上评估可以全面了解该推荐算法带来的用户点击率，留存时长，PV访问量等的变化，

如何进行线上A/B测试？？？？

进行A/B测试的主要手段是进行用户分桶，即将用户分为实验组和对照组，对实验组的用户施以新模型，对对照组的用户施以旧模型，在分桶的过程中，要注意样本的独立性和采样方式的无偏性，确保统意用户每次只能分倒同一个统重，在分桶过程中所选取的user_id需要时一个随机数，这样才能保证统重的样本时无偏的。