（五）AB测试及两个案例 学习简要笔记 #统计学 #CDA学习打卡

目录

一. AB测试简介

1）假设检验的一般步骤

2）基于假设检验的AB测试步骤

二. 案例1：使用基于均值的假设检验进行AB测试

1）原始数据

2）提出原假设H0和备择假设H1

3）使用均值之差的t检验，计算出t统计量的值和P值

4）进行假设检验

5）AA测试（简单随机抽样）

6）AA测试（分层抽样）

7）AA测试（系统抽样）

8）AB测试

三. 案例2：基于假设检验与A-B测试的支付宝点击率策略提升效果分析

1）原始数据

2）计算3组营销策略的点击率的平均值

3）假设检验进行判断

---

一. AB测试简介

AB测试（A/B test）是一种常用的实验设计方法，用于比较两个或多个不同的版本（例如产品、网页设计、广告等）在某个指标上的表现差异。而假设检验是AB测试的统计分析方法，用于判断这些差异是否具有统计学意义。

其实AB测试类似于初中生物说的对照试验。对用户分组，每个组使用一个方案（方案应遵从单变量前提），在相同的时间维度上去观察用户的反应（体现在业务数据和用户体验数据上）。需要注意的是各个用户群组的组成成分应当尽量相似，譬如新老用户很有可能表现出较大的偏好差异。最后根据假设检验的结果，判断哪些版本较之原版有统计意义上的差异，并根据效应量选出其中表现最好的版本。

1）假设检验的一般步骤

(a)提出原假设H0和备择假设H1
(b)用均值之差或者比例之差作为检验统计量Z检验或者t检验，并计算统计量及p值
(c)根据p值与显著性水平判断是否拒绝H0

2）基于假设检验的AB测试步骤

(a)H0假设：A组转化率等于B组转化率；H1假设：A组转化率不等于B组转化率
(b)用均值之差t检验或者比例之差z检验，并计算统计量及p值
(c)判断p值是否小于显著性水平0.05，判断是否拒绝H0

二. 案例1：使用基于均值的假设检验进行AB测试

1）原始数据

2）提出原假设H0和备择假设H1

H0:版本A和B在统计上存在显著差异
H2:版本A和B在统计上没有显著差异

3）使用均值之差的t检验，计算出t统计量的值和P值

4）进行假设检验

通常情况下我们在做AB测试前需要做AA测试，也就是从A里面通过不同的抽样方式选定一定样
本AA，再与A进行测试

5）AA测试（简单随机抽样）

6）AA测试（分层抽样）

7）AA测试（系统抽样）

8）AB测试

我们假设有两个版本A和B，通过生成正态分布的样本数据进行比较。然后计算两个样本的均值和标准差，并使用独立样本t检验进行假设检验。根据显著性水平alpha的设定，判断是否拒绝零假设，进而得出结论。

三. 案例2：基于假设检验与A-B测试的支付宝点击率策略提升效果分析

1）原始数据

2）计算3组营销策略的点击率的平均值

根据原始数据计算3营销策略的点击率如下：

我们可以得到：
对照组(dmp id=1)的点击率0.012551，
策略1组(dmp_id=2)的点击率0.015315
策略2组(dmp_id=2)的点击率0.026192

从点击率来看，策略一和策略二在对照组的基础上都有一定的提升。其中策略一提高了0.2个百分点，策略二提高了1.3个百分点，只有策略二满足了我们对点击率提升最小值1个百分点的要求。接下来需要进行假设验证，来看看策略二的点击率提升是否显著。

3）假设检验进行判断

记对照组点击率为p1,策略二点击率为p2,则：

(a)H0假设：p1>=p2策略2组点击率大于等于对照组点击率
    H1假设：p1<p2策略2组点击率小于对照组点击率

(b)计算A组和B组样本的转化率

(c)用转化率之差作为检验统计量z检验

(d)计算p值

(e)判断p值是否小于显著性水平0.05，判断是否拒绝H0

可以看到，p约等于0<0.05。所以拒绝原假设，认为策略2点击率的提升在统计上是显著的。两种营销策略中，策略二对广告点击率有显著提升效果，因而在两组营销策略中应选择第二组进行推广。

Bye！