A/B测试
随机分桶--哈希函数随机分
如果某个实验组指标明显优于对照组，则值得推全
分层实验
问题：流量不够用怎么办？
同层互斥----避免一个用户被两个实验影响
不同层正交----每层独立随机分配用户
为什么不能全都用正交？
同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰
不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层
Holdout机制
10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）
每周期结束之后，清楚holdout桶，重新划分
保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献
实验推全/反转实验
推全：新层，与其他层正交，90%用户
反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测
在新层里面开一个旧策略桶，长期观测旧策略的diff
5372
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
