0、实验原理回顾
【1 】 原假设和备择假设;
备择假设一般是研究者想要收集证据支持的假设,因为建设检验核心用到是小概率反证,所以我们会提出与备择建设对立的假设作为替换假设。
【2】 两类错误
①弃真错误
计算结果落在接受域,而实际结果却在拒绝域;
即原假设是正确的,但我们拒绝了原假设 ,认为实验结果是显著的,错误上线了实验方案;
②取伪错误
计算结果落在拒绝域,而实际结果却在接受域。
原假设不正确,但是没有拒绝认为实验不显著,错过了一个好版本推全量上线机会;
对两类错误上限的选取(α是5%,β是20%),因此对A/B实验背后的思考,业内也有一句广为流传的话,宁肯砍掉4个好的产品,也不应该让1个不好的产品上线。
【3】 概念
检验原理 小概率原理
比如:
在认为总体符合正态分布的时候,两个总体的均值