njzywyy的博客

原创 A/B测试流程及实现

A/B测试类似于高中做的生物实验，遵循单变量原则，用户分组时使用同一个分组方案，保证用户群体间无差异(新老用户/特殊偏好用户)，进行实验时保证在相同的时间维度上观测，最后根据假设检验判断试验结果，判断哪些版本较原版本有统计意义上的差异，并根据p值选择最好的版本。一个完整的A/B测试包含如下部分：1、分析业务现状，确定最高优先级优化点，作出假设，提出优化建设；2、根据业务确定衡量版本优劣的主要观测指标，设置辅助指标评估其他影响；3、设计优化版本的原型并开发；4、确认测试进行的时长；