AB testing之两大陷阱

今天主要讲讲 primacy effect & novelty effect 在 AB testing中产生的陷阱

背景知识：

什么是Ab Testing？

当遇到典型的产品或工程组织时，团队成员经常会怀疑他们所做的事情是否产生了影响，或者他们在许多不同的设计中所做的选择，是否是最好的。当这些团队想要以数据为基础来影响决策方向时，AB测试是第一步。

AB测试是一种方法，通过向客户或潜在客户展示不同版本的功能、页面、按钮等，并通过一些指标(点击、购买、响应行动等)来评估交互的质量。任何时候，如果你想测试某个东西的多个变体，AB测试都是一个很好的选择。

那么接下来，进入正题。

primacy effect — 首位效应。即：先入为主。

novelty effect — 新奇效应。即：新鲜感。

当产品发生改变时，用户通常会有以下2种反应。

反应1：在习惯了之前的产品后，突然被改变，用户会本能抗拒突然的改变，拒绝新的功能/样式，这就叫 primacy effect （or change aversion）。

反应2：在对新鲜事情的好奇心驱使下，用户对新版本功能/样式十分感兴趣。会激发起大家的好奇心，不断探索新功能。这就叫novelty effect。

那么无论以上哪种反应，都会使得实验结果发生偏差。

尤其是在实验初期，由于人生的2种不同反应产生的较大数据偏差。会使得最开始的metric数据变化并不能够持久。

这也就能解释为什么有的项目，在实验初期，数据表明效果不错，然而在真正放量到100%后，数据显示效果并不如abtesting阶段那么好。

因为随着时间的推移，novelty effect效果会越来低。直到最后消失。

那么如何应对这2种现象导致的数据偏差呢？

方案1：abtesing阶段只选择新用户群体定向投放。

针对新用户来说，完全不存在primacy effect & novelty effect。

方案2：数据隔离对比。

针对新老用户均投放。但是进行数据隔离对比。

将新用户的结果 与 老用户结果进行对比。偏差即为primacy effect & novelty effect产生的影响。