AB实验的置信区间 (confidence interval)

点估计与区间估计：

• 点估计：用样本统计量来估计总体参数。估计虽然给出了未知参数的估计值，但是未给出估计值的可靠程度，即估计值偏离未知参数真实值的程度。
• 区间估计：给定置信水平，根据估计值确定真实值可能出现的区间范围，该区间通常以估计值为中心，该区间则为置信区间

置信水平：区间包含总体平均值的概率

置信区间：误差范围

• 一般用中括号[a,b]表示样本估计总体平均值误差范围的区间。a、b的具体数值取决于你对于"该区间包含总体均值"这一结果的可信程度，因此[a,b]被称为置信区间。一般选定某一个置信区间是为了让"ab之间包含总体平均值"的结果有一特定的概率，这个概率就是所谓的置信水平。例如我们最常用的95%置信水平，就是说做100次抽样，有95次的置信区间包含了总体均值。
• a = 样本均值 - z标准误差；b = 样本均值 + z标准误差
• 计算方法：

                        

            : sample mean；: sample standard deviation；: sample size；: confidence level value (Z-table)

假设检验与置信区间

假设检验与置信区间的关系

置信区间描述了实验组比对照组在x%的置信水平上的提升范围。例如：当实验组在实验报告的数据变化中显示[a,b]，说明实验组上线到全量用户后有x%的几率呈现a-b的变化

Notes

看见统计