【数据科学】一篇文章看懂A/B测_什么是指为了达到某个目标进行多个方案并行测试,每个方案仅有一个变量不同,最后以-CSDN博客

本文链接：https://blog.csdn.net/weixin_38521978/article/details/115294767

本文介绍了互联网AB测的基本概念，包括其作用、主要框架和实验设计流程。AB测通过控制变量衡量产品优化效果，涉及流量分配、埋点日志、指标选取等方面。实验设计包括样本量划分、分析指标选择等。注意事项强调了实验初期的及时观察、数据异常排查和用户session的关注。

摘要由CSDN通过智能技术生成

1.互联网AB测概述

1.1 什么是AB测

AB测是同时进行多个方案并行测试，但是每个方案仅有一个变量不同，然后以某种规则优胜劣汰选择最优的方案。示例：在互联网新功能上线前，为该功能制作两个或多个版本页面同步测试。让用户随机访问不同版本，通过统计学优化方法观察数据指标的具体表现，判断哪种更符合用户的习惯与需求。

1.2 AB测的作用

通过控制变量，衡量并量化收益，获得功能迭代和收益的因果关系，促进产品的快速迭代。

1.3 AB测主要框架

框架架构	关键词	Q&A
流量分配	对照、随机抽样、大样本、域/层/桶	Q：哪些抽样方法？A：分层抽样；正交抽样 Q：抽样均衡？A：定期监控；更优hash算法（e.g.murmur）；通过大量计算换取均衡 Q：域层桶的概念？A：域：是指整体流量的分区，域间是互斥的；层：是指某个域内全部流量的一个观测角度，按照某种方法对域进行划分，层与层之间正交，即彼此互不影响，相互独立；桶：使用独立的Hash函数对用户进行取模，将用户均匀的分配至N个实验桶中，桶与桶之间是互斥的
埋点日志	行为日志打点	-略
指标选取	核心指标、辅助指标、风险指标	Q：什么是指标？A：有业务意义，能描述业务变化与趋势的数据 Q：核心，辅助，风险指标是什么？A：核心为实验本身假设想影响的指标，辅助指标用于对整体用户体验判断，风险指标兜底，后两者原则不能降 Q：如何选取？A：贴近业务目标；关注用户体验反馈；关注指标时间周期相关性等 Q：用日人均还是累计人均？A：日人均可以更容易观察趋势变化，和天级OKR对齐；累计人均可以消除非独立带来的干扰；

2.AB测实验设计与分析流程

由于本人是数据分析挖掘相关从业人员，这里我从工作经验中聊一下我所认为的较为科学的ab测流程。

实验与分析设计：探讨确认需求上下文并共同参与实验设计。当分析目的明确后，需要对思路进行梳理分析，并搭建分析框架，需要把分析目的分解成若干个不同的分析要点，也就是说要达到这个目的该如何具体开展数据分析？样本量怎么划分？需要从哪几个角度进行分析？采用哪些分析指标？采用哪些逻辑思维？运用哪些理论依据？埋点是否能支持分析？

确定流量 + 前期空转：之所以有AA前期空转，主要是为了判断抽样的随机性，此外还可以对ab指标进行进一步的修正。

实验初期观察（1~3d）：（1）主动使用不同功能（2）确认实验配置和打点是否有问题，便于及时发现问题

实验后期反馈（7d）：数据分析，评估方与产品放一起对相关数据指标进行解读。

报告撰写：通过报告，把数据分析的起因、过程、结果及建议完整地呈现出来。

*深入思考*：实验成功了，需要进一步思考：它有没有进一步优化的可能？是否能推广到公司相似产品中？而失败了也需要思考是否有提升自己的认知或有什么经验总结，从而形成闭环。