详细讲解ABTest假设检验【实验设计&amp；结论分析】数据分析_abtest 假设检验

---

目录

• 一、实验设计
• • 1确定业务目标
    • 2 选择检验指标
    • • 2.1 选择一类指标
        • 2.2 选择统计量
    • 3 确定原假设与备择假设
    • 4 两类统计错误的防范
    • 5 样本量计算
    • 6 检验策略选择、设计分组策略
    • 7 当企业没有AB测试的条件的时候，如何解决问题？
• 二、实验结论分析
• • 1 决策统计检验
    • 2 决策业务问题
• 结束语

我在另一篇博客中提到了什么是ABTest，并引用了一个项目，感兴趣的朋友可以再去看看。

本篇博客会从企业真实业务的角度来再次介绍假设检验，建议大家收藏后慢慢阅读。

一、实验设计

1确定业务目标

1. 明确我们要提升的业务指标，如日营业额提升2%或2.5%。如果明确这个部分，实验会显得比较精简，目标明确；
2. 明确我们要改进的产品/策略。

2 选择检验指标

2.1 选择一类指标

一类指标：不能容忍变差的指标；
二类指标：目标提升的指标。
如何确定一类指标？

如图，比方说我们现在想要在原本的页面增加一个搜索框，那对应的可能会导致用户的体验感收到影响，原本页面可以提供8个子链接可能就变成了6个子链接（即影响板块对应业务），可以展示的广告也会收到影响。这也就是图中的三大影响（即人货场：分析平台类的产品，我们要将消费者、平台方、供给方分开讨论），最终选择哪些是我们无法忍受变差的指标，将其定义为一类指标。当然，你可以考虑给对应的指标设定阈值。

场景举例：

2.2 选择统计量

3 确定原假设与备择假设

这里的x1是上策略后的水平，x0是原水平。

x1较x0有没有明确变化程度指的是定目标的时候，除了定指标定方向外，还有没有定优化程度。这里其实我在上篇博客讲到的就是说如果明确是要提升或者明确下降的话（有>或<），就是有，反之就是没有。而提升（<）就是左尾，提升（>）是右尾。也就是判断位于左拒绝域还是右拒绝域。

4 两类统计错误的防范

1、 α+β不一定等于1。
2、在样本容量确定的情况下，α与β不能同时增加或减少。
3、统计检验效力（1-β）当H0为假时,得出拒绝H0的正确结论的概率,被称做检验的效力

• I类错误防范 ：
  • 小概率α设置小些( 避免小概率的触发)
  • 增加样本量（使异常数据的影响降低）
• II类错误防范：
  • 调大α（增加小概率的触发） 但是接受I类错误的代价远比II类错误的代价要大，所以不予使用；
  • II类错误概率只能在实验结束后才能计算发生二类错误的概率，这是一个事后值。所以在事前设计我们一般不考虑这个问题。默认二类错误的概率为20%。

5 样本量计算

统计学上根据统计量抽样分布和边际误差确定样本量。

样本量计算工具：https://www.evanmiller.org/ab-testing/sample-size.html

业务层面是以一类错误临界值二类错误临界值计算。

其中，区间估计算式

E

2

E^2

E2为：

z

α

/

2

z_{\alpha/2}

zα/2​可用EXCEL中的NORM.INV算出。

不过真实业务一般是下面的情况：

这里的

k

k

k指的是a组样本量与b组样本量之比，

μ

A

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！