A/B测试-指标的统计属性

该内容来自于极客时间A/B测试从0到1课程

A/B测试-指标的统计属性

1.指标类型

在实际业务中，常用的指标有两类

• 均值类：用户的平均使用时长，平均购买金额，平均购买频率
• 概率类：点击率，转化率，购买率

这些指标是用来表征用户行为的，而用户行为是随机的，因此这些指标是由一系列随机事件组成的变量

用概率分布来表征随机变量取不同值的概率和范围。

在数量足够大时，均值类指标服从正态分布；概率类指标本质上服从二项分布，但当数量足够大时，也服从正态分布

2.描述业务数据

均值类指标-正态分布意义

描述业务指标的离散程度：方差，标准差

业务指标的波动范围：z分数

	z=(x-u)/sigma

	表示含义：x偏离平均值u多少个标准差

概率类指标-二项分布意义

适用于用户只有两种结果：点击或不点击，发生或不发生

看用户平均概率，例如：平均用户点击率

处理方法：（以计算app投放广告后的下载率为例子）

已有数据：一个月的用户及下载数据

下载率=通过广告下载app的用户数量/看到广告的用户数量

分析下载率，需要

1.计算每分钟的下载率

2.观察概率分布

即可以得到43200（60 * 30 * 24）个数据点，通过数据分析可得平均每分钟有10人会看到广告，下载率集中分布在0-30%之间

下载率分布是否趋近于正态分布

当计算概率的样本量足够大（大于30）时，下载率能服从正态分布

样本量10（平均每分钟有10人看到广告）没有达到阈值，分布不服从正态分布

不服从正态分布

提高曝光度，平均每分钟有600人看到广告

服从正态分布

• 经验

当概率指标满足min(np,n(1-p))>5时，二项分布服从正态分布

即，样本量和概率（下载概率/没下载概率）的乘积至少大于5

3.理解假设检验

假设检验：检验通过样本数据产生的假设在总体数据（即）事实上是否成立

案例：用A/B测试来验证推荐系统改进后的效果

指标：点击率

测试结果是显示：实验组（新算法）比对照组（旧算法）的点击率高

但是A/B测试出提出的假设为

原假设：实验组和对照组的点击率相同

备择假设：实验组和对照组的点击率不同

A/B测试中，更推荐双尾检验

原因：

1.双尾检验可以让数据自身在决策中发挥更大的作用

2.双尾检验可以帮助我们全面考虑变化带来的正，负面效果（即效果可能与原来设想的相反，则双尾更合理）

A/B测试中，使用双样本检验

• 当不知道总体方差时，使用T检验
• 当已知总体方差时，且样本量大于30时，使用Z检验

一般，均值类用T检验，概率类用Z检验

拒真与取伪两种错误

拒真：也称阿尔法错误，统计定义为拒绝了事实上是正确的原假设。

取伪：也称贝塔错误，统计定义为接受了事实上是错误的原假设。