当前,问题优化常用的测试方法是使用A/Btest, 即使用随机的相同规模的流量分别进行A组结果或B组结果测试。
那么我们来看下A/Btest 的组成:
- 一个短时间的纯探索阶段,你需要找相同数量的用户进入A,B组。
- 一个长时间的利用阶段,即所有用户进入结果更好的实验组,然后不再回退。
为什么说这是一个有缺点的策略:
- 这是一个探索与利用完全分离的策略,要么纯探索要么纯利用,但是你其实可以在这两个阶段平滑过度。
- 在纯探索阶段,其实存在一定的资源浪费,就是你一定要拿到相同量级的结果数据,但是当一个实验组的结果显著的非常差的时候,你其实不需要那么多数据来证明结果。
赌博机算法可以为以上两个问题提供解决方案:算法可以平滑的进行两个阶段的过度。算法会用资源去探索更好的结果,而不是浪费在显著差的实验中。