AAtest实验方法

1.基本概念

在线评估中开启一个实验组和对照组配置相同的实验，称作AAtest实验。在AAtest实验中，需要保障实验波动性尽可能小的情况下，数据量不会过于庞大，因为过量的数据虽然会保障数据的泛化性，会增大模型训练的时间和推理速度，影响模型迭代和实时模型推荐更新速度

2.AAtest分桶方法

2.1 可重叠分层分桶方法

在AAtest实验中，首先需要保障的是分桶用户尽可能保障无偏，一种方法是将userid或devid进行hash，而后按照桶大小进行取模分桶，单层实验没有什么问题，但是长期交叉、连续实验会导致某个桶的用户行为有偏，导致其他层的实验结果受到影响，目前应用比较常用的方法是可重叠分层分桶方法

可重叠分层分桶方法具体来说就是将流量分成重叠的多个层，因为很多类实验从系统参数到观察的产品指标都是不相关的，完全可以将实验分成互相独立的多个层，例如UI层、推荐算法层、广告算法层等，除分层外，在每个层中使用不同的随机分桶算法，保证流量在不同层中是正交的，即同一用户应该分到哪个桶是独立不相关的。具体即上一层1桶的所有用户，理论上应该均匀随机分布在下一层的1000个桶中

可重叠分层分桶方法
1.确定layer，确定tag，如userid，devid
2.使用hash函数将tag进行hash
3.使用hash(layer, tag) % 桶大小确定每层分桶，如果hash支持seed，使用layer作为seed，否则作为salt(加盐值)，将layer+tag作为输入参数

2.2 分桶大小

在分桶时，分桶用户数不适合过大，因为过量的数据虽然会保障数据的泛化性，会增大模型训练的时间和推理速度，影响模型迭代和实时模型推荐更新速度，分桶也不应该过小，因为较小的数据集使得数据泛化能力较差，同时会导致评估指标的波动性过大，根据中心极限定理，在样本数据量够大的情况下，当数据量足够时，总体参数的抽样分布是趋向于正态分布的，具体应根据实际业务进行分桶大小的设置

3.AAtest波动性

3.1 波动原因

由于每个桶中的用户每天进行操作的次数完全随机，因此实验指标每天会有一定的波动值

3.2 波动评估方法

对每个桶的指标进行监控，统计置信区间和置信度，指标均值，方差等信息

3.2 解决方法

影响波动性的指标的直接因素时桶内用户数，桶内用户数越多，波动性越小，当AAtest实验波动较大时，可以考虑提高实验桶内的用户数目，降低AAtest波动

4.参考资料

1.《推荐系统开发实战》
2.https://yangwenbo.com/articles/abtest-traffic-diversion.html
3.https://blog.csdn.net/weixin_34268753/article/details/88002645