文章介绍了A/B测试的基本原理，包括原假设与备择假设、两类错误的定义以及p值和统计检验效力的概念。实验设计部分涉及目标设定、指标选择、分流方式和样本量计算。此外，文章强调了AA测试的重要性，用于验证实验组和对照组的分流质量，并提到了流量分层和处理特殊值的策略。
0、实验原理回顾
【1 】 原假设和备择假设；
备择假设一般是研究者想要收集证据支持的假设，因为建设检验核心用到是小概率反证，所以我们会提出与备择建设对立的假设作为替换假设。
【2】 两类错误
①弃真错误
计算结果落在接受域，而实际结果却在拒绝域；
即原假设是正确的，但我们拒绝了原假设 ，认为实验结果是显著的，错误上线了实验方案；
②取伪错误
计算结果落在拒绝域，而实际结果却在接受域。
原假设不正确，但是没有拒绝认为实验不显著，错过了一个好版本推全量上线机会；
对两类错误上限的选取（α是5%，β是20%），因此对A/B实验背后的思考，业内也有一句广为流传的话，宁肯砍掉4个好的产品，也不应该让1个不好的产品上线。
【3】 概念
检验原理 小概率原理
比如：
在认为总体符合正态分布的时候，两个总体的均值
最低0.47元/天 解锁文章
1445
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
