A/B test 笔记

A/B 测试的定义

A/B 测试（也被称为对比测试和分桶测试）旨在用于对比两个版本的内容的效果，识别哪一个版本对于访客/查看者更具吸引力。它将测试对照 (A) 版本与变量 (B) 版本，基于您的关键指标来衡量哪一个版本更成功。如果您是一名数字营销专业人员，无论是开展 B2B 营销还是 B2C 营销，您可以进行以下 A/B 测试：

• 网站 A/B 测试（文本、图像、配色、行动号召），即将流量平均分配给两个版本（A 和 B）的网站。您可以监视访客行为，识别哪一个版本的网站带来了更多的转化量，或促使访客执行了您预期的操作。
• 电子邮件营销 A/B 测试（主题行、图像、行动号召），即将收件人平均拆分为两个细分，确定哪一个版本的打开率更高。
• 对比测试编辑选择的内容或算法（基于用户行为）选择的内容，识别哪一种内容能带来更高水平的互动。

无论哪一种，A/B 测试都将助您确定如何提供理想的客户体验 (CX)。

除了 A/B 测试，您还可以执行 A/B/N 测试，其中“N”表示“未知”。A/B/N 测试指对两种以上的变体进行测试。
 

分享下鹅厂数据分析师 jiangeliu(刘健阁) 是如何设计一个 A/B test 的。

实验设计

AB Test 实验一般有 2 个目的：

1. 判断哪个更好：例如，有 2 个 UI 设计，究竟是 A 更好一些，还是 B 更好一些，我们需要实验判定
2. 计算收益：例如，最近新上线了一个直播功能，那么直播功能究竟给平台带了来多少额外的 DAU，多少额外的使用时长，多少直播以外的视频观看时长等

我们一般比较熟知的是上述第 1 个目的，对于第 2 个目的，对于收益的量化，计算 ROI，往往对数据分析师和管理者非常重要。

（计算ROI的普遍方法是：ROI=［（收入－成本）／投入］＊100%

其实ROI=收回价值 / 成本投入 *100% ，但它不是简单的收入-成本=利润，更准确的说是销售收入。所以这里又会涉及到三个“率”的计算：1.成本利润率、2.销售利润率、3.投资回报率）

对于一般的 ABTest 实验，其实本质上就是把平台的流量均匀分为几个组，每个组添加不同的策略，然后根据这几个组的用户数据指标，例如：留存、人均观看时长、基础互动率等等核心指标，最终选择一个最好的组上线。

实验的几个基本步骤一般如下：

流量分配

实验设计时有两个目标：

• 希望尽快得到实验结论，尽快决策
• 希望收益最大化，用户体验影响最小

因此经常需要在流量分配时有所权衡，一般有以下几个情况：