4个参数搞定ABTEST样本量的最优选择

最新推荐文章于 2024-01-29 18:43:00 发布
最新推荐文章于 2024-01-29 18:43:00 发布
阅读量2.2k 收藏 10
点赞数 2
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43287568/article/details/116357645
版权
理论上样本量越大，越能反应实际情况，减少误差。但实际工作场景中，样本量同样不能过大，有两点原因流量不足：小公司线上流量较小，产品开发过程中需要多个实验测试，并且每个实验的样本尽量不重叠，如果拿出来大部分做实验，会拖慢开发进度；试错有成本：如果某个实验选择了50%的样本，而这个实验组的转化率降低了非常多，对收入有风险，试错成本高。结论：尽量选择最小可靠性样本。怎样计算需要多少样本可直接使用网上计算器：样本量计算器需要输入4个参数：Statistical power：统计功效，实验中最想得到的结
摘要由CSDN通过智能技术生成

理论上样本量越大，越能反应实际情况，减少误差。但实际工作场景中，样本量同样不能过大，有两点原因
流量不足：小公司线上流量较小，产品开发过程中需要多个实验测试，并且每个实验的样本尽量不重叠，如果拿出来大部分做实验，会拖慢开发进度；
试错有成本：如果某个实验选择了50%的样本，而这个实验组的转化率降低了非常多，对收入有风险，试错成本高。
结论：尽量选择最小可靠性样本。
怎样计算需要多少样本

可直接使用网上计算器：样本量计算器
在这里插入图片描述
需要输入4个参数：

Statistical power：统计功效，实验中最想得到的结果。
Significance level：显著水平
Baseline rate：实验前的历史数据
Minimum detectable effect：最小可探测效应
要搞清楚Statistical power和Significance level

需要先来了解另一个概念：ground truth。
ground truth：假设我们一一调研用户，问他们会选择点击哪个按钮，并把数据记录下来，这样得到的结果就是ground truth。

那么ground truth对应的就是我们的预测值，把预测值与实际值做对比，会出现如下四种情况：

最低0.47元/天 解锁文章
weixin_43287568
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AB实验样本量确定
机器学习，大数据
01-11 1万+
文章目录1. 统计功效与关键概念2. Z检验样本量确定2.1 统计功效公式推导2.2 样本量计算公式2.3 求解样本量3. 卡方检验样本量确定3.1 求解样本量4. 简要总结Reference 在数据分析过程中，一个完整的闭环是从数据中得到洞察，根据洞察得到某种假设，通过实验检验这一假设。 AB实验实际上是在做一个假设检验，可以参考上一篇笔记【概率论】- (2)假设检验，在查资料的过程中，主要有两...
ABTest样本量计算
sizhi_xht的博客
11-23 5436
显然，如果实验选取的样本很小，实验结果可信度就不高，因为很可能抽取的样本不能代表真实的水平。这样的对比在统计学上叫做两样本假设检验，即实验组和对照组为两样本，假设检验的原假设Ho：实验组和对照组无显著差异；从这个公式可以知道，在其他条件不变的情况下，如果实验两组数值差异越大或者数值的波动性越小，所需要的样本量就越小。以下将以以p1=0.3，p2=0.305，α=0.05，β=0.2为例，演示在这几个工具里计算样本量的方法。实际A/B测试中，我们关注的较多的一类是比例类的数值，如点击率、转化率、留存率等。
AB Test 确定样本量
最新发布
weixin_42224930的博客
01-29 596
AB Test 确定样本量
ABtest如何确定样本量？
qq_38134556的博客
03-30 3570
如何计算样本量 商业分析的面试，很少会让面试者直接默写公式并进行计算。为啥？一，面试官八成自己也不记得公式。二，真实工作都是用网上的计算器，一键呵成，无需手算。 网上随手找的的sample size计算器 那么，我们现在来看看这个计算器的正确使用方法。 这个计算器需要4个输入。有了这四个输入，就一定能够算出所需样本量。这四个输入分别是： Statistical power Significance level Baseline rate Minimum detectabl
ab 测试参数详解
Finley丶博客
05-10 2432
Server Software: nginx/1.14.0 // nginx 版本 1.14.0 Server Hostname: youxi.test // 服务器主机 Server Port: 443 //端口号 SSL/TLS Protocol: TLSv1.2,ECDHE-RSA-AES256-GCM-SHA384,2048,256 //SSL/TLS 协议 TLS Ser
计算A/B Test需要的样本量
weixin_33699914的博客
10-16 4962
A/B Test是我们做算法模型时离不开的助手，只有通过A/B Test的模型才能进入产品。但要使A/B Test达到应有的效果，我们必须严格地满足它的一些要求。这里有一篇关于A/B test的文章：ABtest和假设检验、流量分配写得很好，我只在这里补充一些细节。 Z检验 很多情况下，我们要用Z检验来判断A/B Test的有效性。Z检验，也称“U检验”，是为了检验在零假设情况下测试数据能否可以接...
ABTtest样本量计算
weixin_44769733的博客
08-04 503
ABTtest样本量计算 一:两个总体只差的样本量计算 目的:测试组比对照组提升30%的活跃度(DAU均值) H0: μ0 - μ1<=30% H1:μ0 - μ1>30% 计算公式: nA=knB and nB=(1+1k)(σz1−α/2   +z1−βμA−μB)2 n_A = kn_B\ and\ n_B = (1 + \frac{1}{k})(\sigma\frac{z_{1- \alpha/2} \ \ \ + z_{1-\beta
移动互联网的应用ABTest
03-23
移动互联网的应用ABTest.昨天晚上我前往慧谷科技听点评的架构师分享。收获还是很多的。我很喜欢这类分享，这类分享是真正的干货，并且也能够让人思考考虑怎么结合自己的产品。 　昨天晚上我前往慧谷科技听点评的架构...
ABtest案例数据集
02-23
ABtest案例数据集
支付宝营销策略分析【基于ABTest进行数据分析实战】python
12-14
数据齐全，含详细的代码注释以及ABTest具体介绍。 需要自行下载，诚不欺人。 详见博文说明：https://blog.csdn.net/qq_44186838/article/details/120652083
DS306 数据科学面试 - AB Test专题.pdf
09-11
• Introduction • Statistical Foundations • A/B test process • Design of Experiment • Result Measurement • Advanced A/B test topics • A/B Test Interviews
AB的变频器常用参数设置.pdf
05-25
【AB的变频器常用参数设置】主要涵盖了美国AB公司生产的PowerFlex 700系列变频器的特性和操作规程。PowerFlex 700系列是一款高性能的交流变频器，适用于广泛的工业应用，包括速度和转矩控制。其核心特点包括： 1. *...
使用ab进行压测
重燃小窗
06-24 761
使用ab进行压力测试
五分钟掌握AB实验和样本量计算原理
qq_41361580的博客
02-20 1万+
AB实验简介 什么是AB实验 将测试对象随机分成A,B两组，然后比较两组之间的差异 AB测试是为Web或App界面或流程制作两个（A/B）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。 需要满足的条件： 对照组：有其他对照组作为对比，就能真正看出来效果。而且不同组间的效果差异要足够明显，才能验证我们的判断 随机性：为了排除实验条件以外的干扰因素，我们需要确保两个组的用户是随机选取，这是为了排除
教你如何对产品做AB测试（abtest）
热门推荐
Weiguang_123的专栏
10-17 12万+
我们经常会面临多个设计方案的选择，比如app或pc端某个界面的某个按钮是用红色还是用蓝色，是放左边还是放右边。传统的解决方法通常是集体讨论表决，或者由某位专 家或领导或文青来拍板，实在决定不了时也有随机选一个上线的。虽然传统解决办法多数情况下也是有效的，但A/B 测试（A/B Testing）可能是解决这类问题的一个更好的方法。 所谓 A/B 测试，简单来说，就是为同一个目标制定两个方案（比如
如何做一次完美的ABTest？
duzm200542901104的专栏
03-03 3965
引言： 在互联网公司的业务发展过程中，用户增长是永恒的主题，因为没有增长也就没有发展，所以在业务发展的早期产品迭代速度往往是越快越好，总之一句话：“怎么快怎么来”，而当业务发展到一定阶段后，野蛮生长的红利逐渐消退，用户增长空间在可见策略下变得不那么明显的情况下，如何合理地规划产品迭代策略就显得尤为重要了，而具体如何判断产品策略是否有效，往往就需要数据说话，其结果决定了该产品或策略的生...
AB test详解
LitraLIN的博客
12-04 2万+
AB test用于推荐系统在线测试 AB test一个总的目的和意图是，判断哪种UI或rerank策略更优，通过事实的依据判断哪种测苦厄更符合用户的习惯和需求。 一、背景介绍 无法衡量就无法优化，对于互联网产品而言，不仅是推荐系统，整个app系统的更新迭代必然需要建立一套度衡量，来把控整个流程优化的方向，而ABtest系统就是一个很好的进行变量控制和优化方向选取的工具，循环：衡量-发现-迭代-验证。所谓精细化迭代是一种建立在数据基础上的思维方式——用较少的成本获得较好的成果。无数据，不优化，线上分流实验是推
为什么很多都模型假设变量服从正态分布，尤其是回归模型？
weixin_43287568的博客
02-03 3991
1.正态分布的奇妙之处就在于它是自然分布，任何看似没有规律可寻的随机事件其实是服从一个表达式就能表达的正态分布，不受人为影响。 eg：打靶，你每次射中点离中心的距离就是误差+方差，如果你每次射中点离中心点都离好远，那你就得提高自身的水平，即距离中心点的宽度（也就是方差），但你就算对自己的水平无限提高，你还是不能每次都射中中心点，这就是所谓的误差，所以如果你想射中点偏离中心点较小，就只能提高方差，也就是改变正态分布的方差，但是误差是呈现正态分 2.正态分布的信息熵最大，是最没有规则的分布，所以大自然嗜好这种分
ABtest样本不平衡怎么办
05-17
如果AB测试样本不平衡，可能会导致测试结果不准确或者偏差较大。为了解决这个问题，可以采取以下几种方法： 1. 增加样本量：增加样本量可以使得两组样本更加平衡，减小偏差。 2. 分层抽样：将样本按照一定的标准分层，然后在每一层中随机抽取相同数量的样本，保证每一层的样本都有相同的比例。 3. 权重调整：根据样本的分布情况，对样本进行权重调整，使得两组样本的权重比例相当。 4. 使用倾斜调整算法：通过算法调整样本的分布比例，使得两组样本的分布相对平衡。 需要注意的是，以上方法并不是绝对有效，具体调整方法需要根据实际情况进行选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值