从假设检验到AB测试

通常会设定原命题使需要被推翻的假设，备择命题使希望被证实的选项。
1.原假设
在假设检验的基本步骤中：把一个被检验的假设称为原假设，用 $H_0$表示。
2.备择假设
当原假设被拒绝时(不成立)而接受的假设称为备择假设，用用 $H_1$表示.
3.检验统计量、拒绝域
由样本对原假设进行判断总是通过一个统计量完成的，该统计量称为检验统计量，使原假设被拒绝的样本观测值所在区域称为拒绝域。
若总体标准差已知，无论样本大小怎样，一般都用Z检验；若总体标准差未知，都用T检验。当样本足够大时，Z分布接近于T分布，换句话说，T分布就是小样本的Z分布。
在统计学中，如何确定用什么检验？
(1)样本容量大时（统计学上一般认为n≥30），总体的均值和标准差未知，不要求总体近似服从正态分布。根据中心极限定理，样本容量大，则样本均值的抽样分布服从正态分布，总体标准差可以用样本标准差来估计，可用Z检验；
(2)当样本容量小于30，且满足总体近似服从正态分布时，如果总体标准差已知，可用Z检验；
(3)当样本容量小于30，且满足总体近似服从正态分布时，如果总体标准差未知，可以用样本标准差去估计总体标准差，由此可用T检验；
(4)当样本容量小于30，且不满足总体近似服从正态分布，不能用Z检验和T检验
4.选择显著水平
检验可能犯以下错误：
其一：原假设为真，但样本观测值落在拒绝域$w$中，从而拒绝原假设。这种错误称为第一类错误，其发生概率为弃真概率，记为 $\alpha$。
其二：备择选项为真，但样本观测值落在接受域中，从而接受原假设，称为第二类错误，记为$\beta$.
如何来证明原假设和备择假设孰对孰错，我们需要用到$p$值，它的定义使在原假设成立的情况下，得到样本观察结果或更极端的观察结果出现的概率。
上述理论可以参看假设检验视频讲解资料
在这个过程中，我们可以将$p$看成对原命题的支持程度，$p$越小，原命题正确的概率旧越小，备择命题正确的概率就越大。我们经常指定显著性水平 $\alpha =0.05$，当$p<\alpha$,原命题成立的概率<0.05,这是统计学中的假命题。
在思考假设检验相关题目时，我们遵循：1.提出命题 2.选择实验对象 3.检验 4.输出结论的步骤。
A/B测试
不同的运营方案有不同的选择，A/B测试可以帮助我们做出选择，消除客户体验设计中的不同争执，它的理论基础是假设检验。A/B测试是互联网企业常用的一种基于数据的产品迭代方法，主要思想在控制其他条件不变的前提下对不同样本设计不同实验水平，并根据最终的数据变现来判断自变量对因变量的影响。