这里写自定义目录标题
一. A B 测试流程
1.根据数据分析得到某建议项
2.根据建议项,产品经理得到落地项
3.根据落地项,研发设计人员进行开发设计
4.研发人员采集数据
5.分析师跟进AB效果,显著性95%,维持一段时间,试验结束
整体节奏:灰度5%,10%,20%,50%,100% 节奏一定要控制好
业界都是一套AB测试平台,能够每天进行大量AB
二. AB测试类型
2.1 UI 界面型
2.2 算法策略型
针对新用户的内容推荐
A:100%兴趣预选
B:80%兴趣预选+20%随机
三.实际工作中问题
实例:两个月前产品上线了短视频功能,两个月后上涨,需要分析量化:短视频对于上涨的贡献
一些分析师思路:同一批用户,在使用短视频前后的对比 错误(不是同一时间)
解决:AB解决,在上线前做测试,否则扯不清
四. AB注意事项
1.两组是否真的相同-研发搭建,分析师要知道大概原理
A:001,002,003,004,005
B : 001,002,003,004
C:001,002,003,004,006
D:X,Y 001,002,003,004
结论: A,B,C可用,D不行,确保只有一个变量,通过数据看这个变量是正向还是负向
2.测量是否生效:AB测试,分析师要去抽样
现象:产品经理根据分析师的专题落地了AB,研发也进行AB,效果不明显,此时所有人觉得优化无用,没有去做更多尝试
分析师一样要对AB组抽样,看是否真上了优化
3.评估体系:要去研发沟通好,看哪些指标
设计一套综合体系,后续试验直接看表即可,不用单独建表
4.多观察几天数据:开始的数据不能用,3天后的数据可用
4-10天的数据可用
5.AB测试的存档规划:方便后续找增长点
定期复盘做了哪些AB,预期和实际效果,这是落地项的闭环
建议采用5W1H方法来管理AB测试
what why when who howmuch(预期效果) how much(实际效果)
文档是数据分析师日常重要工作之一,规范化,标准化
五.实例
Netfilx
不同版本的作品,来提高某个标题的收视率
墨迹天气的分享
今日头条 广告位 商业化和用户的平衡
六.思考
对于设计师:设计思维+AB测试