数据分析之AB测试---实操常见问题及处理方法
第一节 MDE(Minimum Detectable Effect)—最小可探测效应
在AB实验实操中,我们会常遇到两个东西:
- 其一:在计算最小样本量的时候有个参数:目标指标预期提升的最小幅度
- 其二:在实际实验跑了一段时间后我们常常会计算得到一个指标「检验灵敏度」,它用来判断在当前条件下能有效检出目标指标的diff幅度
这两点好像都有人称之为MDE,不难发现好像对于这个术语的含义存在一定的混淆,该如何更好的去区分、理解这两点,先说自己认为的结论:
- 在样本量计算中涉及到的参数「目标指标预期提升的最小幅度」,称之为目标指标预期提升值。
- 在实验进行中,我们会计算一个指标:检验灵敏度,称之为MDE。
第二节 如何理解检验灵敏度(MDE)
一句话概述:在AB实验中,检验灵敏度(MDE)是指在给定的置信水平和统计功效下,实验能够检测到的最小的效应大小,它帮助我们理解实验是否有足够的能力去检测出实际的效果。
例如:当实验结果不显著时,排查不显著原因:计算MDE,如果MDE大于预期(