什么是AB实验?能解决什么问题?终于有人讲明白了

4d5e1f334cc70b6518a3dd54f2901281.gif

导读:走向身边的AB实验。

作者:木羊同学

来源:大数据DT(ID:hzdashuju)

157fdc935ed6632c62bf151d8c63aea9.jpeg

“AB实验”是一个从统计学中借来的工具。我和大家一样,每次只要看到“统计学”这三个字,下意识就觉得这事和我没啥关系,然后手就忍不住想要点击下一条文章。不过且慢,开篇我说AB实验是一个从统计学中借来的工具,借来给谁用呢?给我们自己用。所以下面不会介绍太多的统计学知识,主要讲讲AB实验能和我们发生怎样的故事。

01 什么是AB实验

开始之前总得介绍两句什么是AB实验。简单来说,AB实验就是“对照”,过程分三步:首先设置实验组和对照组,然后用一段时间来收集数据,最后比较二者的不同效果。所以,AB实验也叫“对照实验”。

临床医学上有个词叫双盲测试,随机将病人分成两组,分别服用实验药品和安慰剂,经过一段时间后比照两组的治疗效果。这就是AB实验的最早来源。

这些都是很熟悉的词,原理也不复杂,相信大家都理解了什么是AB实验。不过,这里有个陷阱。如果真的以为AB实验只能用于在实验室里做实验,是那些穿白大褂的人才需要关注的事,那就被名字给骗了。

AB实验远不止于实验。AB实验有两个核心价值:定性因果和定量增长。这两个词可能过于正式,我觉得不妨换另外四个字概括,那就是“减少争执”

350cdfe4d530f406224ff8447377c283.jpeg

02 争执之源

我们都不喜欢争执,但我们又都免不了争执,究其原因恐怕是观点难免存在冲突。拿件具体的事说吧,现在准备开发一款产品,开始大家目标很一致,那就是成功。不过,接下来分歧就来了。什么样的产品才能取得成功呢?众多纷纭,大家心目中的成功产品都不一样,甚至还有矛盾之处,然后就开始了争执。

我们经常能看到一些分析,说某某产品的成功因素是什么什么,感觉这个时代已经把通往成功的道路都统统标绘了出来,或者干脆就有一本《成功字典》,要成功只要照着查就行。

但是,事实真的如此吗?市场不断推出新的产品,许多最终都不怎么成功。虽然老话常说“失败是成功之母”,不过,应该没有哪个产品是抱着给成功当妈的决心推出市场的。既然大家都想成功,似乎大家也都知道该怎么成功,那为什么还会失败呢?

失败如果没有立即失业,那么通常是要开一个总结会的,总结一下到底是什么原因导致了失败。失败的总结会是很不好开的,开着开着可能就变成各个部门扯皮推诿。那么,成功的总结会好不好开呢?也不好开,不同部门也会各自邀功,都说这次的成功主要是自己某某工作的结果。

什么导致失败,什么导致成功,这些都是定性因果。如果再在定性因果上加上量的变化关系,譬如说已知因素A导致因素B,现在A增加了5个单位,想要知道B能增加几个单位,这就是定量增长

定性因果和定量增加都是企业关注的问题,特别是现在都在提企业数字化转型,如果各条业务线都能建立量化因果模型,那么,接下来用数据驱动增长自然水到渠成。

但是,这很不容易,定性因果首先就很不容易,而且很容易成为争执的源头。企业都开总结会,但是不同人不同部门总结的因果关系很可能都不一样。同一个产品成功了,甲部门说是因为A、B、C三点,乙部门说是因为D、E两点,又说要不是因为有C,结果还会更好一些。

大家观点不一样,甚至还有冲突,结果自然只能争执,一旦牵扯了部门利益,要找到一个大家都能接受的观点就更不容易——再说了,大家都能接受就表示是正确了吗?

a02248cf1e9fdef9c545db665f26d4fc.jpeg

03 选择之困

总结因果当然不仅仅只是为了总结因果,还将影响一个更大的问题,那就是选择。做一款产品有很多的环节需要我们选择,如果还是重要环节,那我们要做的选择就叫做重要决策。决策的好坏,可能直接决定了这款产品的生死。

据说很多现代人都得了一个不是病症的病症,叫选择困难症。选择困难吗?困难,也不困难。在游戏里面,每一个选项后面都标识了效果,譬如说这个加3点攻击力,那个加1点生命值,选了之后有哪些效果一清二楚。

可惜,现实不是这样的,选项后面可没有那些闪闪发光的标记。当然,我们还是会想知道该怎么选,也想出了一些办法,主要来说有两种。一种叫集思广益,让大家来选。召开一个讨论会让大家发表意见,不过,原意是想从四个选项中选一个,结果经过一番唇枪舌战,选项又多了三个。

况且,对于产品设计来说,人多并不意味着正确。有一个词叫“委员会设计”(Design by committee),听起来像是夸奖,但其实是个贬义词。一个产品为了妥协多方意见,最终导致臃肿不堪,我们就会把它称为委员会设计。

类似的案例有很多,有时你会遇到一些产品,设计杂乱无章,看起来像是铁了心要得罪评审老师的毕业设计,但一看名字居然是出自某个知名大企业,不用感到太过意外,也许你遇到的就是“委员会设计”。

那另一种方式就是叫领导拍板,让领导来选。这里的“领导”不只是行政上的领导,也包括权威专家。领导知道的总是要多一点,是不是总结因果的水平也更高一些呢?

不能说错,但肯定不对,因为天才也是会犯错的。譬如说乔布斯,最初iMac在选择外壳时有几种方案,其中一种是采用半透明塑料制作,样子非常好看,但成本是其它的三倍。大家都反对,乔布斯力排众议选择了这个方案,最终iMac大获成功,还奠定了苹果“设计优先”的传统。

这似乎是一个领导拍板的成功案例。不过,我们反过来想一下,假如iMac最终惨败收场,事情会变成怎样呢?后人再说这件事的时候,就变成了乔布斯“一意孤行”,大家已经正确预判到了结果,但他置若罔闻,最终翻车也就理所当然。

这并不完全是假设。了解的同学应该知道,苹果也好乔布斯本人也好,都是狠狠地翻过几次车的,原因正是乔布斯“一意孤行”。读到这里我总是会想,“力排众议”和“一意孤行”有没有可能说的根本就是同一件事。不过无论怎样,哪怕领导水平真的很高,交给领导选择也未必就能十拿九稳。

38f07b7d08ac894ae2b4dc732f6c98b6.jpeg

04 事实之选

交给大家来选不行,交给领导来选也不行,难道就没有更科学的方法了吗?有的,就是AB实验,交给事实来选。

前面我们说AB实验能减少争执,为什么?因为有一句话叫“事实胜于雄辩”。你说A是成功因素,那么好,我们就来做实验,一组有A一组没A,看看最后哪组的效果好。如果事实证明没A的效果更好,那应该也没谁愿意再花口舌去争论了。

选择也一样。领导不一定是对的,大家也不一定是对的,但事实一定是对的。把选择权交给事实,结果也许不一定符合期望,但一定符合事实。

Bing是一家知名的搜索引擎,搜索引擎是靠用户点击广告获得收益。某天一位员工提出“将标题下的第一行文字合并到标题行,形成长标题”能够增加用户点击率,这条建议实在过于无厘头,大家纷纷打出了“哈哈哈”表示不信。不过,Bing最终还是抽空真的试了试,结果效果拔群。这就是事实。

AB实验绝不仅仅只是实验室里白大褂们的专利,有着更为广阔的应用空间。当然,AB实验既然来自统计学,免不了有很多复杂的因素影响结果的客观,而AB实验作为实验,自然还有很多现实的情况需要加以考虑,怎样组织AB实验又是另一件不亚于选择的头疼事情。我推荐看一本书《AB实验》,更系统地了解AB实验方方面面的内容。

关于作者:莫凡,网名木羊同学。娱乐向机器学习解说选手,《机器学习算法的数学解析与Python实现》作者,前沿技术发展观潮者,擅长高冷技术的“白菜化”解说,微信公众号“睡前机器学习”,个人知乎号“木羊”。

d11e2128d42d082da6ea8f6d6a424e66.gif

延伸阅读👇

ef755872f927f11fca88bcdfb2584bbf.png

《AB实验:科学归因与增长的利器》

推荐语:BAT资深数据科学家10余年AB实验工程经验总结,系统阐释AB实验原理、方法和增长实践,融合全球优秀企业经验。

刷刷视频👇


91554d11fa6bb799c20bc91f2f34cc52.gif

更多精彩回顾

书讯 |8月书讯(上) | 重磅新书来袭!书讯 |8月书讯(下) | 重磅新书来袭!资讯 |《Java核心技术》基于Java 17全面升级!干货 |再见了Java8,Java17:我要取代你干货 | 李三红:Java版本升级需要纳入到可持续性维度
干货 |市面上的大前端岗位到底是做什么的?

95c667b28c2aa40532ba73bef03c8b1a.gif

  • 0
    点赞
  • 1
    收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值