![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Medium: AB test专题
Xjy xxxpy
这个作者很懒,什么都没留下…
展开
-
B站:AB test [下]
e.g. 加速了0.003s,在理论的statistics上显著,但是人眼人耳是无法感知的!Focus在:AB Test结束后,如何进行显著性检验?(以判断改动是否有效果)值得注意的是:统计上显著并不意味着现实中显著!引入:Z检验和T检验。原创 2023-09-11 11:46:24 · 224 阅读 · 0 评论 -
B站:AB Test 知识全解
3、计算实验所需的最小样本量(trade off:n越大,实验结果越可信;但n过大,会对用户造成不良影响),每一个实验组所需的样本量:[用到了“大数定律”和“中心极限定律”]在正式开始前,会用“小流量”去看一段时间“灰度实验”(验证改动不会造成特别“极端的影响”)1、在实验开始前,找产品、项目经理等确认:实验需要验证的改动点(一次只能看一个!α:犯第一类错误的概率,而1-α(没有犯第一类错误的概率)是置信水平。②比率类指标(通过多个指标计算得到,如:点击率、转化率、复购率)4、结合日活量,计算实验周期。原创 2023-09-09 23:49:11 · 295 阅读 · 0 评论 -
CSDN: ABTest流量分层分桶机制
如果因为新实验的上线而导致整个流量群体的模型都更改了,从统计学的角度讲,模型之间的对比关系没有变化。,时间的统一性有效的规避了因为时间、季节等因素带来的影响;,从各项指标上观察用户对不同交互、流程、策略、算法等反馈,进而对产品进行迭代改进。,怎么决定对哪些用户进行新策略、算法A的尝试,对哪些用户保持原有算法B进行对照?流量群体对于新模型会有一定的适应期,而适应期相对于稳定期的效果一般会差一点。本文的goal:在进行了模型的线下迭代并且有了提升之后,这样实验模型的频繁上下线不影响主力和潜力流量的用户群体。原创 2023-09-08 01:34:35 · 848 阅读 · 0 评论 -
Medium: 9 Important Things to Remember for AB Test
A/B/C test。原创 2023-09-08 00:25:17 · 358 阅读 · 0 评论 -
Medium: The misleading AB Test
The problem with that was the fact that too much had changed at once. You should not consider the individual pieces of your product without considering the whole,but you can’t justify gain/loss based on one of many features if you did it all at once.即:不能一次原创 2023-09-07 11:11:40 · 94 阅读 · 0 评论 -
Medium: Where to Define Qualified users in A/B testing?
局限性: unqualified users will also be considered and mess up experimentation results.原创 2023-09-05 10:03:53 · 1357 阅读 · 0 评论 -
Medium:How to check the correctness of the AB test?
定律:The larger the group size, the lower the variance, the smaller the probability of Type II error.通常,type 1 error is more important!Estimate the required group size:(code如下)每次都需要做test,比如这个数据跑出来就有问题!原创 2023-09-04 03:19:58 · 340 阅读 · 0 评论 -
Medium:How to speed up AB test?
2、以系统化的方式记录实验:如搭建历史数据资料库。团队就能围绕什么样的产品处理方法有效、什么样的产品处理方法无效、对哪些用户群有效、对哪些指标有影响以及影响程度如何等问题形成更好的先验信念。1、预先花时间设计实验。二、Better Metrics。三、Fewer Metrics。原创 2023-09-03 05:35:55 · 44 阅读 · 0 评论 -
Medium:做AB test需要多少时间?
特别注意的是:因为 AB test 有两組,所以需要 18,112 个用户。其中,最关键的是确定:总共需要多少样本数量。2. 问问产品经理,多与团队、经验丰富的人沟通。4. 对AB test的结果始终保持质疑心态。3. 若没有参考,先收集少量数据瞧瞧。原创 2023-09-01 20:20:59 · 53 阅读 · 0 评论