每天五分钟机器学习：为什么要进行AB测试？

什么是A/B测试？

A/B测试是互联网公司中常用的测试方式，A/B测试可以有效的验证新模块、新功能是否有效。用在机器学习中，可以有效的验证新模型是否有性能的提升。

为什么要进行在线A/B测试？

离线的评估，只能进行F1值，ROC曲线等数据，无法反映真实的使用情况。在线A/B测试可以得到真实在线环境下的评估结果。而真实的结果可以得到真实的数据，比如用户的点击率，用户的满意度，停留时间等。

如何进行A/B测试？

A/B测试特别像初中做生物的时候，将用户分为实验组和对照组，对实验组的用户施加新的模型，而对对照组使用老模型。观察效果。

需要注意的是，在分组的时候，需要保证样本的独立性和采样方式的无偏性，确保同一个用户每次只能分到同一个组中。