详细讲解ABTest假设检验【实验设计&amp；结论分析】数据分析_abtest 假设检验(3)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以点击这里获取

2.2 选择统计量

3 确定原假设与备择假设

这里的x1是上策略后的水平，x0是原水平。

x1较x0有没有明确变化程度指的是定目标的时候，除了定指标定方向外，还有没有定优化程度。这里其实我在上篇博客讲到的就是说如果明确是要提升或者明确下降的话（有>或<），就是有，反之就是没有。而提升（<）就是左尾，提升（>）是右尾。也就是判断位于左拒绝域还是右拒绝域。

4 两类统计错误的防范

1、 α+β不一定等于1。
2、在样本容量确定的情况下，α与β不能同时增加或减少。
3、统计检验效力（1-β）当H0为假时,得出拒绝H0的正确结论的概率,被称做检验的效力

• I类错误防范 ：
  • 小概率α设置小些( 避免小概率的触发)
  • 增加样本量（使异常数据的影响降低）
• II类错误防范：
  • 调大α（增加小概率的触发） 但是接受I类错误的代价远比II类错误的代价要大，所以不予使用；
  • II类错误概率只能在实验结束后才能计算发生二类错误的概率，这是一个事后值。所以在事前设计我们一般不考虑这个问题。默认二类错误的概率为20%。

5 样本量计算

统计学上根据统计量抽样分布和边际误差确定样本量。

样本量计算工具：https://www.evanmiller.org/ab-testing/sample-size.html

业务层面是以一类错误临界值二类错误临界值计算。

其中，区间估计算式

E

2

E^2

E2为：

z

α

/

2

z_{\alpha/2}

zα/2​可用EXCEL中的NORM.INV算出。

不过真实业务一般是下面的情况：

这里的

k

k

k指的是a组样本量与b组样本量之比，

μ

A

−

μ

B

\mu_A-\mu_B

μA​−μB​是提高/降低的目标。

当没有做抽样，不知道实验组总体方差时，可以用现有总体的方差代替。

6 检验策略选择、设计分组策略

实验自变量个数指的是我们采用策略的个数，比方说我们策略1是改变字体大小，策略2是改变字体颜色，那么此时实验自变量个数就是2。而自变量水平数指的是策略中的几种方案，比方改变颜色这个策略中我选择改成红蓝绿三种颜色，那么策略2的自变量水平数就是3+1个原水平，也就是4。

通常情况下我们都算采用独立样本，那么什么时候会选择配对样本呢？

1. 实验对象十分特殊，都有某种特点；
2. 实验对象的状态持续时间比较长；
3. 实验对象数量较少。

举个例子，我想出了一个治疗罕见疾病的方法，想做ABTest，可病人实在太少了，那这个时候就可以考虑配对样本。（例子随便举的）

7 当企业没有AB测试的条件的时候，如何解决问题？

可以大致分为3中情况：

1. 没有系统。
   没有灰度发布的系统，即没有向不同群体提供不同服务的系统。
   解决方法：人工划分群体或者线下测试。
2. 用户量不够
   解决方法：如果统计量是比例数据的话，可以提高测试周期，如统计滴滴每日出事故的比例，可以提取一周的订单数据；如果产品本身针对的就是小众用户的话，那就有点难搞了，只能考虑用简单的对照法试着解决问题。
3. 时间成本高
   解决方法：如果是时间跨度过长的话，考虑缩小时间跨度，比方说用周活跃率代替月活跃率；如果是转化周期过长的话，这时候就难搞一点，比方说用户留存率往往就需要较长时间，很难用缩短时间的方法来替代。

二、实验结论分析

1 决策统计检验

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网络安全面试题

绿盟护网行动

还有大家最喜欢的黑客技术

网络安全源码合集+工具包

所有资料共282G，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

，可以在评论区留言领取哦）~

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！