为什么需要AB测试? 步骤?

Why需要进行AB测试？

A方案和B方案主观上各有优劣，无法判断，选取一部分用户样本，做AB测试，根据上线之后的数据表现，来决定哪个更好。

AB—越来越重要，why?

互联网产品设计的流程和方法论逐渐成熟，产品同质化严重。没办法预先从设计下手，那就先让用户试，根据用户数据反馈改进产品。变成了提升下单率、转化率等指标的有效方法。

改进方案从何而来？

头脑风暴、标杆对照、经验总结、不同部分提出的建议、用户调研、数据分析等

优先选择哪个方案进行AB测试？

ICE模型，Impact Level重要度，Confidence自信度，Ease容易度。每项满分为10分，ICE总分为三项的平均分，ICE分值越高，对应优先级越高

设计方案

• 确定样本个体，指标
• 确定实验样本数量和周期
  推荐使用Evanmiller网站，https://www.evanmiller.org/ab-testing/sample-size.html
  其中有4个字段需要输入：
  一个是Baseline conversion rate，指原有的转化率；
  二是Minimum Detectable Effect，指预计会提升的百分比；
  另外两个是β和α值，分别代表第一类错误（拒真错误）和第二类错误（去伪错误）概率，这两个值都是为了保证实验结果的准确性。一般β值会设定在5% ~ 10%，α值会取1% ~ 10%之间。
  检验统计量为数值，英文版: Evanmiller网站
  简易中文版： 云眼，相较Evanmiller网站，没有考虑第二类错误β值。
• 根据计算结果，得到最小样本量，考虑到样本存在周期性，选取合适的天数作为实验周期。

分析实验结果

• 在实验开始2天后，检查数据是否正常（样本量，实验数据）
• 在分析结果时，要注意排除其他因素导致的数据变动，如季节影响等

扩大实验或失败

• 如果实验结果表明成功，则扩大实验范围，把本次改进覆盖所有用户。

注意事项：

• 确保实验的变量唯一；
• 确保试验周期不能过长，一般控制在2到3周，最好不要超过一个月；
• 确保α和β值在合理的区间内，保证实验的准确性；
• 分析实验结果时，记得排除其他因素在实验中的影响。

参考文章: https://baijiahao.baidu.com/s?id=1613749013332549182&wfr=spider&for=pc
https://www.jianshu.com/p/ed627e5c812c