AB实验_如何确定实验周期

已于 2025-04-08 23:14:06 修改
阅读量1.1k 收藏
点赞数 1
分类专栏： 数据科学 文章标签： 数据分析
于 2023-11-03 00:22:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38412868/article/details/134192887
版权
本文讨论了在实施AB实验时如何选择评估数据，特别是在处理不同周期数据和避免多重检验问题上。介绍了MDE的概念，它是业务方对实验效果信心的量化，影响样本量计算。文章详细讲解了如何根据MDE、方差、统计功效和一类错误概率确定最小样本量，以及如何考虑周期效应来确定实验周期。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在实操AB实验时往往会遇到一个问题：我们应该取哪一段的实验数据来评估实验效果呢？如果取数周期不一致的话，实验效果自然不一致；而且多次取不同周期的数据来评估的话，又会犯多重检验的错误，提高了第一类错误的概率（错误地拒绝原假设）。那应该怎么办呢？

目前有两种，一种是需要提前计算最小样本量确定实验周期，到期后才能评估实验，在未达到实验周期时不评估实验，即使实验中间显著了也不能作为评估的最终结果；另一种则是序贯检验这种，不需要提前计算最小样本量确定实验周期，可以持续观察实验，等显著了后就可以直接作为结果。本文章重点讲第一种如何确定实验周期。

一般是业务方给出核心指标的MDE，数据分析师通过历史数据计算核心指标的方差，最终数据分析师根据MDE、方差、一二类错误上限计算出最小样本量，根据可用流量比例计算出实验周期。如果实验指标有明显的周中周末效应，那实验周期最好为7n天为佳。

什么是MDE

MDE：Minimum Detectable Effect，最小可检测效应。

MDE代表着业务方对实验组和对照组差异的信心，信心越强，给出的MDE

了解本专栏 订阅专栏 解锁全文 超级会员免费看
业务专题篇：AB测试实验设计与评估
春华秋实
02-26 2143
A/B测试已经成为互联网领域最常见的定量试验与数据收集方式，也是产品、运营和数据分析师的必备能力。对于互联网公司来说，A/B测试是一种有效的精细化运营手段，过去很多依靠经验的粗放式策略管理，通过A/B测试改变为可量化的精准决策。 A/B测试是一种通过已有客观指标，通过对比不同分组方案来衡量哪种效果最佳的方法。它的优势在于能够在“真实的线上环境中”，通过部分或者少量用户验证不同的方案。 例如，在对产品进行A/B测试时，我们可以为同一个优化目标（提升支付率）制定两个方案，让一部分用户使用A方案，另一部分用户使用
AB实验总结
u013385018的专栏
09-21 1199
互联网有线上系统，可做严格的AB实验。传统行业很多是不能做AB实验的。匹配侧是采用严格的AB实验来进行模型迭代，而精细化定价是不能通过AB实验来评估模型好坏，经历过合成控制法、双重差分法，目前采用双重差分法来进行效果评估。本次只讨论AB实验，其他的非AB实验方法不做详细描述，大家可初步参考之前吴百威整理的文档。《双边市场下的实验设计》。
AB测试——流程介绍（设计实验）
WHYbeHERE的博客
03-10 1565
本文继续介绍假设建立和实验设计部分，包括实验对象、样本量计算（显著性水平、统计功效及最小可检测效应）、实验周期。
【数分】7. AB实验篇
Jon Shen的博客
04-12 6072
AB实验常见考题及知识普及
A/B Test︱一轮完美的A/B Test 需要具备哪些要素
热门推荐
素质云笔记
12-10 1万+
文章目录1 A/B Test 实验的业务意义2 相关概念理解2.0 AB实验2.1 AA分组 —— 更好筛选样本2.2 混杂因素2.3 根据实验种类分类2.4 互斥实验2.5 流量正交&正交实验2.6 分层原则2.7 灰度发布2.8 留存率2.9 统计 假设检验2.10 p-value2.11 校验灵敏度MDE3 AB test完整流程3.1 完美的 ABTest的流程是什么？3.2 样本量选择3.3 如何确定实验需要多少天？4 A/B TEST 合理的分组4.1 CR - 完全随机分组**CR（C
AB测试的介绍与实施
tutu_a的博客
11-25 3133
AB测试的介绍与实施
AB实验原理及案例实例（python代码实现）
m0_46235332的博客
02-13 4866
1.背景介绍：AB实验的由来 在产品迭代过程中，每一个功能点的改进不是产品经理靠经验和拍脑袋想出来的，这就需要我们设置一个对照实验来分析功能点的改进对于我们所关注的核心指标是否有改进。运用 AB 实验，找到一部分小流量用户，并对于这部分用户提供改进的功能点，帮助我们去测试改进功能点的效果。例如：某社交APP增加了“看一看”功能，即用户之间可以查阅到对方所填写的一些基础信息。现在要分析该功能是否有效果。 2.AB实验及其原理： AB实验的本质就是同质样本组的对照实验。 原理：有两个同质...
AB Test实验设计
sizhi_xht的博客
11-23 680
ABtest实验设计详细介绍
【基础知识】ABtest
Bsienwuw的博客
06-06 4367
ABTest 目录 一、实现步骤 二、假设检验 1、假设检验的基本步骤： 2、各分布+拒绝域 2.1 对称性（t分布+正态z分布） 2.2 非对称型（F分布、卡方分布） 一、实现步骤 现状分析：分析业务数据，确定当前最关键的改进点。 假设建立：根据现状分析作出优化改进的假设，提出优化建议。......
想做长期的 AB 实验？快来看看这些坑你踩了没
京东科技开发者
12-13 424
大部分情况下，我们做的 AB 实验都是短期的，一到两周或者一个月之内的，通过分析这段时期内测得的实验效应得出实验结论，并最终进行推广。长期实验即运行时间达数月甚至数年的实验，实验的长期效应指的是需要数月数年的 AB 实验才能积累的实验效应。那什么场景下还需要做长期的 AB 实验，为什么不直接将短期的实验效应直接推广到长期效应呢？因为在某些情况下，实验的长期效应和短期效应是不同的。
AB实验核心知识点总结
baidu_26137595的博客
08-10 2549
本文较为全面的总结了AB实验涉及到的统计学知识、AB平台核心功能等，同时也给出AB不显著的分析思路，以及如何在sql中进行假设检验等，希望能够有帮助。
AB测试基本原理
haozi的博客
04-15 2428
比如某页面的点击率，我们需要先计算页面的点击数和展现数，两者相除才能得到该指标。在实际的运营中，流量是稀缺资源，产品迭代时代时，会有很多AB测试需要同时做，而产品的流量又是有限的，因此需要对流量进行充分切割。此外还需要考虑一些用户周期的情况，例如用户在工作日和周末特征不一样的情况，那么周期就需要1个完成周。为什么这里要区分不同类型的观测指标，因为在接下来的样本量计算中，这两类指标的样本量计算有所差别。代表的是样本数据的标准差，衡量的是整体样本数据的波动性，可以计算样本的标准差计算得到。
关于AB test的一些整理
weixin_40347266的博客
04-25 3017
这些那些 AB test的作用及流程 A/B test 是一种将网页或应用程序的两个或多个版本随机显示给不同组用户，通过统计分析方法确定哪个版本的指标性能更好的一种实验方法。 案例： 某读书软件的书籍推荐页有两种推荐方式可以实行，至于哪种推荐方式能带来更多的阅读量和追新量，就需要借助A/B测试来找到更好的推荐方法。 原始版本：主推“精品书籍”版块，即当下优质书目推荐，与用户阅读的书籍类型无关； 试...
数据分析——AB测试
weixin_45666566的博客
03-24 2227
AB测试1、定义2、应用场景3、测试流程 1、定义 \quad \quad将Web或App界面或流程的两个或多个版本，在同一时间维度，分别让类似访客群组来访问，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本并正式采用。 2、应用场景 \quad \quadAB测试的主要应用场景一共有两个：界面设计、算法设计 界面设计： 调整界面颜色、按钮颜色、界面外观等因素，通过视觉效果达到吸引用户的作用 例如：在界面设计方面，早期推荐的是写实风格，即页面中的元素更逼真化，而近几年的界面设计更偏向于扁平风格，
最详细的A/B test 原理
weixin_43029292的博客
07-02 6512
最详细的AB Test原理
数据分析3--对比法（AB test）
weixin_43784274的博客
03-10 5078
在对比方法中，A/B试验是一种较为典型的方法，它通过线上试验对比在相同干预条件下对照组和试验组之间的差异，从而得出结论。本章重点介绍A/B试验，会着重从A/B试验的设计、统计学原理出发详细介绍每一个环节的操作流程，还会利用公开数据集介绍A/B试验相关的分析流程。
AB测试详细过程
YJ语
04-21 1万+
AB测试详细过程1 AB测试原理简介2 选取指标3 建立假设4 选取实验单位5 计算样本量6 流量分割7 实验周期计算8 线上验证9 数据检验10 知识点总结 1 AB测试原理简介 AB测试最核心的原理，就四个字：假设检验。 检验我们提出的假设是否正确。对应到AB测试中，就是检验实验组&对照组，指标是否有显著差异。 既然是假设检验，那么就是先假设，再收集数据，最后根据收集的数据来做检验。 先来说说假设。 假设一般成对出现，分为零假设 和 备选假设。 在AB测试中，零假设是：实验组&对照组 指
AB test原理、公式、案例
TravelLight92的博客
04-17 5206
比如更新了一个新功能，是否会对产品有正向作用，主观猜测可能会犯错误，此时进行假设检验：原假设H0：老方案和新方案无区别，H1老方案和新方案有区别（双尾）原假设H0：老方案>=新方案，H1老方案
3张图让你吃透MDE
最新发布
fff2zrx的博客
05-16 1330
最近老跟实验平台的同学打交道，又被迫复习了一遍统计学，今天下午用新被安利的画图网站画了三张草图，~~三句话让男人给你花三百万，~~三张图让你吃透mde，三张图让你理解mde的含义以及是怎么计算出来的。附画图网站：https://excalidraw.com/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fff2zrx

谢谢老板

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值