统计功效是衡量AB测试中不犯二类错误的概率，即在真实存在差异时能正确识别的能力。错误分为两类：一类错误（α错误）是假阳性，即无差异时判断有差异；二类错误（β错误）是假阴性，即有差异时判断无差异。统计功效越高，当AB组确实有差异时，我们正确识别的概率越大。通常关注显著性水平α以避免假阳性，但高统计功效意味着更严格的实验要求和更大可能发现真实效应。
我们在面试数据分析时，常常会问到如何确定样本量的问题，会有一个指标：统计功效（power），或者是1-β
统计功效会影响实验的可信度，甚至会影响实验所需的样本量，要了解统计功效，首先要理解两类统计错误
假如我们做了一个AB实验，且两组用户的数据均值为μ1和μ2，我们会有两个初始假设：
H0：两个实验组的数据没有差别（μ1=μ2），这个假设也叫“零假设”，也叫原假设
H1：两个实验组之间的数据存在差别（μ1≠μ2），这个假设也叫“非零假设”，也叫备择假设
定义两类错误：
实验本身没有效应，但我们觉得有效应。这是一类错误，或者叫α错误
实验本身有效应，但是我们误以为没有。这是二类错误，或者叫β错误
统计量临界值：
在H0假设下，统计量有一个分布，如上图H0，当计算的统计量处于分布的小概率区域时，我们就可以说零假设是小概率事件，可以拒绝零假设。如图，当统计量大于2时，我们就可以拒绝H0，此时，我们犯第一类错误的概率就是α，换句话说，零假设是真的，我们却拒绝了它。
当我们设定了显著性水平时，α就确定了，一般为0.05&#
最低0.47元/天 解锁文章
扫一扫
1523
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
