如何正确地做AB实验并计算收益

已于 2022-10-18 19:23:13 修改
阅读量352 收藏
点赞数
分类专栏： 推荐系统 文章标签： 推荐系统
于 2021-09-10 16:09:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh515858237/article/details/120224443
版权
  1. 需要在实验前有一段时间的空跑期，观察"实验组"和“对照组”之间的差距diff
  2. 在实验期间，再次观察两者之间的差距diff
  3. 最后，用(实验期间的平均diff - 空跑期的平均diff)，得到绝对收益值
    在这里插入图片描述

以上图为例，
2020年8月15日至2020年8月19日期间为空跑期，得到的平均diff为-15.36%
2020年8月29日至2020年9月2日期间为实验期，得到的平均diff为-6.80%
最终的绝对收益为(-6.8%) - ( -15.36%) =8.56%

hit56笔记
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
业务丨AB实验
CharonNine的博客
02-08 434
什么是A/B测试 - 腾讯技术工程 互联网为什么喜欢AB测试? | AB测试的流程与目的 AB实验在滴滴数据驱动中的应用 聊聊用户抽样 | AB测试的基石 AB Test 实验一般有 2 个目的： 判断哪个更好：例如，有 2 个 UI 设计，究竟是 A 更好一些，还是 B 更好一些，我们需要实验判定 计算收益：例如，最近新上线了一个直播功能，那么直播功能究竟给平台带了来多少额外的DAU，多少额外的使用时长，多少直播以外的视频观看时长等 流量分配 实验设计时有两个目标： 希望尽快得到实验结论，尽快决策
复杂AB实验
yike330的博客
08-01 748
AB测试的检验指标可以分为两大类绝对值指标、比例值指标。两者的方差计算方式不同。其中比例值根据分母不同又可分为两类分母为人次（留存率、转化率等）、分母为行为次数（曝光点击率）。分母为人次，分流单位和分析单位相同，可以用z检验；分母为行为次数，分析单位之间不独立，要用delta检验。......
数据科学工程篇_AB实验原理与实践
徐思孟的博客
09-15 2231
AB实验原理与实践
关于AB实验样本累积的记录
zhenglit的博客
01-14 404
当达到最小样本量的时候，我们能否再积累两天样本，使得P值发生改变，然后选择改变后的P值作为我们的结论？ 不能！ 背景：在做AB实验的时候我们根据MDE计算出了最小样本量，根据最小样本量我们规划了一个7天的实验，但是7天后我们评估发现p-value>0.05，这个时候我们能否再积累两天样本使得p-value<0.05的时候再做结论？ 不能，我们是“在保证犯第一类错误的概率<0.05的前提下，尽量的使得power越大越好”，虽然继续积累样本量可以保证power越来越大，但是我们就没办法保证
超全！腾讯数据科学家深度长文讲透AB实验
pdcfighting的博客
08-14 838
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤欲寻芳草去，惜与故人违。导读：在数字化时代的大背景下，在数据驱动的产品增长理论和实践中，AB实验起的作用越来越重要。越来越多的岗位需要产品、运营、数据等职位候选人掌握AB实验相关的知识。作者：刘玉凤来源：华章计算机（hzbook_jsj）本文首先介绍AB实验的...
数据分析36计(30)：关于 AB 实验的 1.5 万字总结
Pylady的博客
08-10 5715
实验原理假设检验的目标是拒绝原假设，它的核心是证伪。先假设原假设成立，然后计算原假设反面出现的概率，如果概率较大，则证明原假设不成立。对于 A/B Test 来说， p值是在实验组和对照组...
ABPLC经典实验
03-18
介绍了关于ABPLC经典实验的详细说明，提供AB其它PLC的技术资料的下载。
资源调度_AB实验_云计算_资源调度_
09-30
本文将深入探讨“资源调度”这一主题，特别是针对“AB实验”和云计算环境下的应用。 首先，我们要理解什么是资源调度。在计算机系统中，资源调度是指操作系统对硬件资源（如CPU、内存、磁盘I/O等）进行分配和管理的...
AB实验教程-5000软件应用
03-18
AB实验教程-5000软件应用.pdf 介绍了关于AB实验教程-5000软件应用的详细说明，提供AB教程及应用的技术资料的下载。
AB Test
weixin_42248522的博客
12-02 922
1.什么场景可以用 AB Test？ 产品迭代：比如界面优化、功能增加、流程增加，这些都可以使用 AB 实验测试产品改版是否成功。 策略优化：无论是运营策略还是算法策略，都可以通过 AB 实验的方式验证策略是否达到预期目标。 2. AB 实验的底层逻辑是什么?(为什么要做 AB 实验？有什么科学依据？) 主要基于两点。 随机化。AB 实验通过随机化的处理，使所有影响 treatmet 到 effect 的混杂因子（Confounded Factor）失效。简单理解就是，随机化使全部的外在干扰
python包怎么做双重差分did分析_不能AB实验怎么办？
weixin_31208627的博客
12-31 1036
用增长视角观察行业动态，洞察增长契机。主要会从用户价值、宏观机会、商业模式、数据驱动和营销技巧等五个维度中挑选合适的切入点，来盘点行业动态给用户增长带来的启示。上图是我所理解的用户增长全局(姑且称“冰山图”)，大众视野能看到的是各种营销策略，而在冰山之下，需要以用户价值为基础，需要对宏观机会和商业模式产生洞察找到切入点，再依靠数据驱动去更科学、更有效的落地增长策略。本篇从数据驱动视角，针对用户增长...
A/B-test / diff in diff
weixin_52730784的博客
06-06 1267
A/B-test / diff in diff01 | A/B-test1.A/B测试定义2.实验方法3.A/B-test设计流程4.案例02 | diff in diff 01 | A/B-test 1.A/B测试定义 A / B测试（分割测试或桶测试）是一种将web或app的两个版本相互比较以确定哪个版本的性能更好的方法。 本质上是一个实验，同一时间维度，将产品的两个或多个版本随机分发给用户，通过收集各群组的用户体验数据和业务数据，最后根据显著性检验分析评估出最好版本正式采用。 2.实验方法 随机将
AB测试及检验
weixin_45625380的博客
08-09 5477
一、什么是AB测试？ A/B 测试是一种产品优化方法；为同一个优化目标制定两个方案，让同一部分用户中的一部分用户命中 A 方案，同时另一部分用户命中 B 方案，统计并比较不同方案的点击率、转化率等数据指标，通过不同方案的数据表现，在确定数据表现通过假设检验后，决定最终方案的实验方法。 二、AB测试的意义？ AB测试是支持数据决策最有力的工具。 以下为最基础的数据驱动流程，方案验证即为AB测试过程，实验才是检验真理的唯一标准。 数据收集 数据分析 发现问题 提出方案 方案验证 发布上线 三、AB测试实验
数据分析——AB实验
热门推荐
森谷蘑的博客
03-17 2万+
AB测试 什么是AB测试 AB测试的统计学原理 统计功效是什么 AB实验要开多久，样本量要多少 如何优雅的分析AB实验的结果 AB实验常见注意要点 1. 什么是AB测试 AB实验就是为了验证一个新的产品交互设计、产品功能或者策略、算法的效果，在同一时间段，给多组用户（一般叫对照组和实验组，用户分组方法统计上随机，多组用户统计角度无差别）分别展示优化前和优化后的产品交互设计，并通过数据分析，判断优化前后的方案在一个或多个评估指标上是否符合预期的一种实验方法。 通俗讲就是我们在线上可以切出一部分用户（降低风
【中科院1区】Matlab实现天鹰优化算法AO-RF锂电池健康状态估计算法研究.rar
最新发布
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
汽车行业数字化转型报告顶层规划设计.docx
08-02
汽车行业数字化转型报告顶层规划设计.docx
毕业设计，基于ASP.NET+SqlServer开发的企业投资价值分析系统，内含完整源代码，数据库，毕业论文
08-02
毕业设计，基于ASP.NET+SqlServer开发的企业投资价值分析系统，内含完整源代码，数据库，毕业论文 自中国证券市场产生以来，投资者进行投资理财迫切需要有一个科学的理论依据，在众多投资理论体系中，确定企业的价值和股票的价值，是一个重要的流派。著名的投资专家巴非特就是通过分析企业的内在价值，寻找价值被低估的股票，等到市场认可了该企业的价值，再将股票抛出，从而获得了的投机收益，其管理的基金也一度成为世界上最成功的投资基金之一。从西方国家理论界对相关领域的研究结果来看，也取得了一些成果，包括：CAPM 模型、 ICAPM模型、APT模型等，也有人用市盈率方法对股票进行定价。国内在相关的领域也取得了一些研究成果。然而，尽管国内外理论界研究成果较多，但真正适应中国证券市场、适应中国广大投资者的切实有效的理论至今仍是一个空白。在中国这样一个特殊的背景下，股权结构的特殊性、证券市场初创时期的投资性等因素，使得一些模型受到挑战，而且这些模型的精确化程度也受到限制，有必要探求新的思路和方法，为广大的投资者提供切实可靠的操作依据。对股票的价值进行评估必须综合尽可能全面的因素才能使得这些评估更加科
matching ab实验
10-18
Matching AB实验是一种常见的实验设计方法，它被广泛应用于社会科学、医学和心理学等领域中。Matching AB实验的目的是通过匹配两组被试，以便对特定实验干预的效果进行评估。 在Matching AB实验中，研究者首先需...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值