1.A/B test （如何通过实验做到增长）
增长产品的利器-A/B test
来源是从医院发明，医生在做新药的时候，不清楚药品是否有效果，就会安排2波人来测试，一个人吃新药，一个人吃另外一种药品，来测试药物的药性，放到现在来看，这样的方法是不精准的，其实A/B test是有一套严格的科学方法的
介绍之前首先我们先了解A/B test的三大特性
1.先验性
抽样代替整体
抖音等大DAU产品要求新功能必须A/B
比如做一个个人主页的更新，头像，从图片变为gif，我们可以先抽取几万或者几十万的数据量来进行测试，周期性的在增加用户数量进行反复测试，从而达到全面用户侧上线的可能性
2.高效性
多个实验同时进行互不影响
抖音同时在跑上千个实验
实验之间是相互不影响的
3.科学性
假设检验，降低第一第二类错误的概率
A/B test对增长的帮助
1.降低风险
小流量实验随时回滚
2.加快迭代效率
多个维度同时实验
A/B test的通用流程
实验改动-核心指标确定-样本量周期确定-流量分割-AB灰度测试-AB测试上线-效果评估验证
A/B test难点1：最小样本量计算
A/B 测试样本量的理论依据，大数定律和中心极限定理
1.大数定律： 当试验条件不变时，随机试验重复多次以后， 随机事件的频率近似等于随机事件的概率。
2. 中心极限定理：对独立同分布且有相同期望和方差的n个随机变量， 当样本量很大时，样本的均值近似服从标准正态分布N(0,1)
什么是A/B test 最小样本量计算
简单来说，就是当样本量足够大时，他就可以代表整体的性质，但关键是，足够大，有多大？ 我们希望的是，用恰好能够统计学显著的样本量，别用太多，影响用户体验，也别太少，达不到实验目的
1 、 α 为犯第一类错误的概率， 把没有犯第一类错误的概率1- α 称为置信水平一般情况下， α 取值为 0.05 。
2 、 β 为犯第二类错误的概率， 把统计功效定义为1-β ， 一般情况下， β 取值 0.2 ， 则统计功效的取值为0.8
约等于8
例
某交友 app 的个人主页
平均停留时长的是20 秒（标准差）
优化了头像照片后
预估至少有 5 秒的绝对提升（组间差异）
AB 测试每个组需要的最少样本量：
σ=20 ， δ=5
A/B test 最小样本量计算 - 实用网址
www.evanmiller.org/ab-testing/sample-size.html
Baseline …… 当前的数值
比如点击率，下单率，停留时长
Minimum… 预期提升的数值
比如点击率提升 3 个点
停留时长增加 10s
A/B test 的易错点—辛普森悖论
两人赛季总投篮球 100次，问谁的总得分更高？
不一定，我们要求确定2位球员2分和3分的的相同投篮数量才去比较谁的得分更高
例
我们交友app，新上一个女用户头像gif功能，增加申请好友率
我们平台周六周日日活大，就定在周六上午8点开始了
实验结果出来了，更换gif后，总点击率还降低了0.3%
“产品经理确实不行，回滚！”
对数据进行分析
总结：原来是分组出现了问题-对照组大学生多，实验组白领多
问了实验人员怎么分的组？
答：偷懒了，按注册日期分的
选了一个在周六的日期，白领注册人多
大学生注册在周一到周五的时间多
简单方法：
按手机尾号分
按设备号id中某一数字分
A/B test 的其他易错点
1.相互之间互不影响的实验
组一
个人主页 gif 图
组二
个人主页普通图
实验 2-1 实验 2-2
对话框变大
对话框不变
2.实验的时间周期
参与用户的差异性、突然事件，节日
A/B test 容易忽略的点
衡量实验效果必须考虑四个方面
1.实验目标必须是重要且可通过实验提升的
2.不能忽略负面影响
3.中间指标要观察
4.重要用户的主观体验
一个 A/B 实验的全生命周期是什么样的？
应如何进行实验设计和评估？
字节跳动如何用A/B test 赋能增长 以tik tok提升新用户留存为例
实验背景：上滑引导效果欠佳
我司某视频类 APP 希望优化
新用戶的教育功能 ⸺ 「上滑引导」
该产品中，用戶进行「上滑」这一操作
将会由当前视频跳转至下一视频
而「上滑引导」功能的主要作用
就是告知新用戶：可以通过「上滑」方式跳转到下个视频
前序「上滑引导」功能由静态的手指图片及提示文案组成，展现时间比
较短，整体上并且没有呈现出很明显的“提示上滑”的效果。
这就意味着因新用戶很可能看不懂这个提示，进而并没有学会如何使用
该 APP ，也就无法体验到产品的核心价值，最终流失。
提示时间短
很多用户 day 1 没有主动上滑操作
产品经理猜测该原因导致流失
实验目标：优化后提升新用戶留存
经过分析，当前「上滑引导」功能对部分新用戶而言存在理解障碍，
仍有优化空间。
让更多用戶在初次使用 APP 时就看懂提示，学会「上滑」，预期对新
用戶的留存会有提升。
因此，该产品决定优化「上滑引导」方式，并通过 A/B 实验对新方案
的效果进行评估
实验设计
实验设计：让 UI 出了一个半动态式的引导样式
在明确了产品目前的问题和改进的方向之后
该产品设计了一版改进方案
确定实验变量和目标人群
针对 APP 版本号大于 x.x.x 的新用戶开启实验：
对照组 A ：线上版本，即实验背景中所提及的静态样式 1
实验组 B ：采用新样式，即半动态样式 2
确定实验目标
在本实验中，「是否学会切换至下一视频的正确姿势」对「新
用戶是否留存」有直接或间接影响
「新用戶留存」作为评判本次实验是否成功的核心指标
希望新用戶留存可提升 0.5% 且显著；
同时，该产品的其他核心指标需无显著负向表现
确定实验指标
「上滑引导」改动会直接影响新用戶尝试切换视频的操作方式
将新用戶「正确进行上滑操作」的渗透率和「错误操作」（如
进行了下拉刷新、点击首 ⻚ / 推荐按钮等）的渗透率作为评估实
验效果的直接指标
预期正确操作渗透率提升 1% 且显著
错误操作渗透率降低 1% 且显著
流量与周期
本次实验取用了 10% 的线上流量，对照组和实验组各占 5% 。
实验周期暂定为 1 个月（考虑到实验针对新用戶，相较于全用戶实验
来说，需要更 ⻓ 的时间收集足够样本）
确定了实验周期之后，请不要过早或过晚停止实验
实验分析：功能渗透率呈负向
实验数据分析。
从指标表现来看：衡量实验是否成功的核心指标 ⸺
新用戶留存，未见显著提升
实验分析：功能渗透率呈负向
直接效果指标：
新用戶进组当日「正确操作 - 上滑」的渗透率 下降 约为 1% 且显著，
与预期不符；
新用戶进组当日「错误操作 - 下拉刷新」的渗透率下降约为 1% 且显著，
符合预期；
新用戶进组当日「错误操作 - 点击推荐 / 首 ⻚ 」的渗透率提升约为 1.5% 且
显著，与预期不符
数据分析师对指标表现进行了进一步分析
对「正常操作 - 上滑」影响：将「上滑操作渗透率」按地区进行多维
下钻后，分析师发现， 发达地区用戶的渗透率 普遍更低，对「上滑
引导」的理解更差
这听起来很奇怪，经过分析师的推断，导致这一现象的原因可能有
- 发达地区用戶互联网更发达，对观看新用戶引导的耐心更低，导致
对上滑引导的理解更差 - 发达地区用戶受本地 APP 操作习惯影响大，对新的操作方式不能很
快适应（比如这部分用戶可能使用 ins ，而 ins 的操作方式与我司产品
完全不同），因此渗透率普遍更低
数据分析师对指标表现进行了进一步分析
分析「错误操作」的影响：
经用戶行为分析，「错误操作 - 点击推荐 / 首 ⻚ 」显著提
升，原因是用戶未能理解「上滑引导」中所提示的操作
反而去尝试了点击推荐 / 首 ⻚ Tab
继续迭代，继续实验
实验设计：全动态引导样式
由于第一次的实验结果并不理想，
该产品的 PM 基于上次实验结论进行调研分析
，再次设计了全新的功能样式
实验分析：指标正向收益明显
分析两组实验发现，实验组 B 和对照组 A 在指标上表现符合预期：
实验成功指标 ⸺ 新用戶留存提升约 1%-1.8% ，且指标结果呈显著，
符合预期
实验分析：指标正向收益明显
其他核心指标：人均时 ⻓ 、人均视频播放量均有提升，且呈显著
直接效果指标：新用戶进组当日「正确操作 - 上滑」的渗透率提升
且显著，幅度约为 1.5% ，符合预期
同时实验证明了：教会新用戶上滑操作对新用戶留存有明确的收益
实验分析：指标正向收益明显
分地区多维分析：鉴于初次实验发现发达地区用戶对上滑教育的理解
度更差，因此需要进一步分地区分析用戶对于实验组策略的理解
发达地区：上滑功能渗透率提升且呈显著，新用戶留存提升且呈显著
幅度约 2% ，比实验组平均水平提示更为明显
说明新引导功能的教育作用有明显的收益
非发达地区：上滑渗透率无显著提升，新用戶留存无显著提升
实验结论：收益显著，全量上线
全量上线实验组 • 后续迭代方向
观察发现，仍有一定比例的新用戶看过视频但没有进行上滑操作
经下钻分析后发现，发达地区这类用戶占比更高，后续将对这部
分用戶行为进行持续观察，挖掘是否有进一步教育的空间
什么是增长
通过各种手段以合理性价比持续获取有效用户，并实现产品的良性发展
关键词
1.性价比 2.有效 3.可持续
增长的分类
一、自然增长：
1、应用商店自然下载； 2、用户自传播（裂变、口碑传播等）
二、投放：
1、预装； 2、信息流投放； 3、应用商店投放； 4、线下渠道投放（商户广告、地
推等）； 5、其他 （导流、积分墙等等）
三、品牌宣传：
1、品牌活动； 2、品牌宣传（冠名、植入等等）
扫一扫
382
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
