本篇文章主要介绍在进行AB测试时,需要考虑的点及一些小的细节介绍,并通过一个案例进行结合体验。
![cecd9a004873cdcf9703e0e9e7fe212c.png](https://i-blog.csdnimg.cn/blog_migrate/bfa311e3e2de41a1c2344c4daf66cdbe.jpeg)
问题:产品为什么要做A/B测试?
原因:因为实践是检验真理的唯一标准。A/B测试是一个科学的统计方法,着一统计的诞生,再也不用为了争吵是使用A图片好,还是使用B图片好,好不好按照效果说了算。这样极大的避免了产品经理凭借感觉定方案的情况。
所以本篇文章主要介绍在进行AB测试时需要考虑的点及一些小的细节介绍,并通过一个案例进行结合体验。
一、确定测试目的
A/B测试需要一个目标,以便正确执行:比如产品经理的目标就是想通过测试弄清楚某个颜色方式,或者某个标题能否产生更多订单的转化。而如果你的A/B测试没有目标,那只能是在浪费时间和精力。
确定A/B测试的目标是什么(即要得出什么结论)?
比如我之前做过的百度平台视频类型的小程序播放页A/B测试,目标为:测试在百度平台内部,视频类型的小程序播放页哪种样式(页面布局)效果更好;
目标好(适合)的标准是什么?
视频类型的播放页,好的标准是什么:
- 页面的人均点击视频数多;
- 页面的人均收益高。
文案好的标准是什么?
按钮的点击与曝光比率越高效果越好。
二、确认参与A/B测试的几版方案
在选择参与A/B测试的几种方案需要想清楚理由,即回答为什么能参与到这次A/B测试中;其次确认参照方案,即参与A/B测试之后的方案除了相互之间进行比较,最终要和哪个方案进行终极PK(当然我直接选用了线上的方案作为参照)。
播放页样式测试方案简介
feed样式:当前视频软件上基本都采用这种feed流样式(腾讯视频、爱奇艺、优酷)。
大图样式:为了与百度小程序广告组件的大图/视频广告样式保持一致。
- 原因一:提升页面的整体视觉;
- 原因二:猜测采用这种样式会增加收益(与广告样式相近);
左图右文:目前很多家视频公司相关推荐的主流样式(好看视频、西瓜视频、哔哩哔哩等)。
样式UI展示(例):
![202d9216e73b8d578cda9850a3e26503.png](https://i-blog.csdnimg.cn/blog_migrate/ecba7a87ccdf8fe3d2c4271e4ba2f06e.jpeg)
三、确定所需数据来源(得出结论需要哪些数据做支撑)
1.怎么算人均点击
我所理解的人均点击有两个维度:
- 在该页面发生点击的人有没有增多;
- 每个人点击的视频数有没有增多。
主要的计算方式如下:
![55547e55785bed5704bed217d5a1f085.png](https://i-blog.csdnimg.cn/blog_migrate/18706d16a61555c54244b57928cde7ae.jpeg)
![49543b96bad35879ded7236ca1544f84.png](https://i-blog.csdnimg.cn/blog_migrate/bda792553221662406806d971d5a53d7.jpeg)
怎么算人均收益
人均收益的计算方式:页面总收入/页面UV
- 确认页面收益来源:主要有哪些广告位;
- 页面UV:每种样式的播放启动用户数。
四、埋点方案确定
根据我们在(三)分析的所需数据进行埋点方案确定
- 我们需要在页面的展现上报中上报播放页样式值,用来区分每一个样式曝光了多少次;
- 在视频的点击上报中区分行为发生在那种播放页。
五、方案执行
以描述案例做方式执行的步骤:
- 与前端约定样式,当推荐返回哪个字段时前端展示什么样式;(别忘了让前端小哥哥加上报吆,若是增加字段了,需要进行数据备案)
- 与推荐约定每个样式的投放比例。
当时做测试时样式约定的值及投放的比例(如下图):
![b47d3d3663110a76a7b3bf0b91193dfc.png](https://i-blog.csdnimg.cn/blog_migrate/a2695315b30057a31c2a44fab5950f63.jpeg)
六、线上数据跟踪
到这个步骤了,说明前期规划的产品已经上线了。我们的产品经理就需要盯着数据分析结果了,我的建议是线上跟踪所需的数据明细最好在思考(三)阶段的时候列好,这样在数据跟踪时我们只需要按照设想进行数据填充分析即可(当然有不合适的地方还是需要及时改正的)。
eg:百度平台视频小程序播放样式A/B测试人均收益数据明细表
![ceb5491c7cac90dce714ead12d7389ed.png](https://i-blog.csdnimg.cn/blog_migrate/e116d15660d7fcb4aa17a9c2d0e64889.jpeg)
七、结论输出
结论输出建议采用的方式:图表配文字结论(直观、清晰)
![7524eb866889da717997bb558bf2d327.png](https://i-blog.csdnimg.cn/blog_migrate/5d863cb6e8614bcfdfe180a5dc984897.jpeg)
![9fbc3de40737770acbbd35009fa1de21.png](https://i-blog.csdnimg.cn/blog_migrate/729a24bdfe164a1d11cc287992bb37a0.jpeg)
结论:
- 单分析人均收益效果,大图样式明显好于feed样式及左图右文样式;
- 从曲线图看出,大图样式的收益高于feed样式,但是人均点击视频数略低于feed样式;所以需要更长的周期去测试这两种样式,最后由更多人去决定选择收益还是体验;
- 经过长达6天的测试结果可以看出,左图右文收益与点击效果均是最差,所有在后期继续的测试中可以去掉该样式,将此部分用户分给feed样式。
本文由 @李笑笑吆 原创发布于人人都是产品经理。未经许可,禁止转载
题图来自Unsplash,基于CC0协议