1.互联网AB测概述
1.1 什么是AB测
AB测是同时进行多个方案并行测试,但是每个方案仅有一个变量不同,然后以某种规则优胜劣汰选择最优的方案。示例:在互联网新功能上线前,为该功能制作两个或多个版本页面同步测试。让用户随机访问不同版本,通过统计学优化方法观察数据指标的具体表现,判断哪种更符合用户的习惯与需求。
1.2 AB测的作用
通过控制变量,衡量并量化收益,获得功能迭代和收益的因果关系,促进产品的快速迭代。
1.3 AB测主要框架
框架架构 | 关键词 | Q&A |
流量分配 | 对照、随机抽样、大样本、域/层/桶 | Q:哪些抽样方法?A:分层抽样;正交抽样 Q:抽样均衡?A:定期监控;更优hash算法(e.g.murmur);通过大量计算换取均衡 Q:域层桶的概念?A:域:是指整体流量的分区,域间是互斥的;层:是指某个域内全部流量的一个观测角度,按照某种方法对域进行划分,层与层之间正交,即彼此互不影响,相互独立;桶:使用独立的Hash函数对用户进行取模,将用户均匀的分配至N个实验桶中,桶与桶之间是互斥的 |
埋点日志 | 行为日志打点 | -略 |
指标选取 | 核心指标、辅助指标、风险指标 | Q:什么是指标?A:有业务意义,能描述业务变化与趋势的数据 Q:核心,辅助,风险指标是什么?A:核心为实验本身假设想影响的指标,辅助指标用于对整体用户体验判断,风险指标兜底,后两者原则不能降 Q:如何选取?A:贴近业务目标;关注用户体验反馈;关注指标时间周期相关性等 Q:用日人均还是累计人均?A:日人均可以更容易观察趋势变化,和天级OKR对齐;累计人均可以消除非独立带来的干扰; |
2.AB测实验设计与分析流程
由于本人是数据分析挖掘相关从业人员,这里我从工作经验中聊一下我所认为的较为科学的ab测流程。
实验与分析设计:探讨确认需求上下文并共同参与实验设计。当分析目的明确后,需要对思路进行梳理分析,并搭建分析框架,需要把分析目的分解成若干个不同的分析要点,也就是说要达到这个目的该如何具体开展数据分析?样本量怎么划分?需要从哪几个角度进行分析?采用哪些分析指标?采用哪些逻辑思维?运用哪些理论依据?埋点是否能支持分析?
确定流量 + 前期空转:之所以有AA前期空转,主要是为了判断抽样的随机性,此外还可以对ab指标进行进一步的修正。
实验初期观察(1~3d):(1)主动使用不同功能(2)确认实验配置和打点是否有问题,便于及时发现问题
实验后期反馈(7d):数据分析,评估方与产品放一起对相关数据指标进行解读。
报告撰写:通过报告,把数据分析的起因、过程、结果及建议完整地呈现出来。
*深入思考*:实验成功了,需要进一步思考:它有没有进一步优化的可能?是否能推广到公司相似产品中?而失败了也需要思考是否有提升自己的认知或有什么经验总结,从而形成闭环。
3.注意事项
- 注意初期观察需要及时,防止产品bug带来数据异常
- 看起来异常奇怪的数据一般都是错的
- 关注用户session
- 正收益难以拿到