在线实验——ABTest

        ABTest是为了确认两种方案中哪一种方案更适合。原理，让一部分用户使用A方案，另一部分用户使用B方案，记录下两部分用户的反馈情况，然后根据相应的指标确认A，还是B更适合。

        在推荐系统中，为了对比不同的算法、不同数据集对最终结果的影响，通过一定的规则将用户随机分成几组，并对不同组才去不同的召回或推荐算法，最终通过不同组的用户的各种评估指标来对比分析。

基本流程：

1. 用户分流：将用户的唯一ID编码进行Hash分桶，使不同的用户落入不同的分桶中。例如，针对用户群U，Hash分桶之后得到100个桶，分别表示为B_1, B_2, ..., B_100；
2. 分桶召回：对不同的桶的用户使用不同的召回策略，使得召回商品池存在差异性。如，B_1~B_50使用召回策略A，B_51~B_100使用召回策略B；
3. 用户打散：重新分桶，将用户随机分到100个桶，保证与上面分桶结果具有很大的差异，分别用B_1', B_2', ..., B_100'表示；
4. 分桶排序：对不同的桶使用不同的排序算法；
5. 商品展示：根据上一步输出进行展示。