A/B Testing实践指南01: AB实验入门简介

本文主要是基于《Trustworthy Online Controlled Experiments —— A Practical Guide to A/B Testing》的读书分享及实践思考

0 前言

基于在每家公司每年进行超过20,000次控制实验的实践经验，作者总结了一些多年来遇到的问题、教训和陷阱。分享了如何通过在线控制实验(online control experiment) 来支持以数据驱动决策的企业文化，而不是依靠HiPPO（Highest Paid Person’s Opinion，即“老大说了算”）。提出对学生和刚开始做实验的行业专业人士的建议，并针对希望以数据驱动为决策的从业者深入探讨了一些高级话题。
本书内容既适用于大、小型互联网公司，也适用于团队和公司内部的组织。其核心问题是评估实验结果的可信度。作者相信特维曼定律（Twyman’s Law）所暗示的怀疑主义：任何看起来有趣或者与众不同的数字通常都是错误的。鼓励读者仔细检查结果并进行有效性测试，尤其是突破性的积极结果。获得数据很容易，但是获得正确的数据很难。

通过本书可收获以下学习内容：

• 科学方法：使用科学的方法，通过对照实验来评估假设。
• 定义标准：定义关键的度量标准和理想的总体评估标准（OEC, Overall Evaluation Criterion）。
• 可信结果：测试结果的可信度，并提醒实验者是否违反假设。
• 搭建平台：构建一个可扩展的平台，将实验的边际成本降低到接近零。
• 避坑指南：避免陷阱，如结转效应（Carryover Effects）和特维曼定律（Twyman’s Law），了解统计问题如何在实践中发挥作用。

【全书框架】

• 第一部分：任何人都可以阅读，无背景知识要求，主要包括以下四章：
  第一章：概述在线控制实验的优势，并简要介绍实验相关的专业术语；
  第二章：通过案例概述一个完整的实验操作过程；
  第三章：描述常见的陷阱，并说明如何构建实验的可信度；
  第四章：概述如何构建一个实验平台，并扩展在线实验。
• 第二部分：包括五个基础性的章节，比如组织度量等，推荐每个人阅读，尤其是领导和高管。
• 第三部分：包含两章， 补充了在线控制实验的技术。建议阅读人群包括：领导者，数据科学家，工程师，分析师，产品经理。 本部分内容有助于指导他们对如何有效的为项目投入时间与资源。
• 第四部分：专注于建立实验平台，主要针对工程师。
• 第五部分：深入探讨高级分析主题，主要针对数据科学家。

【作者简介】

• Ron Kohavi是Airbnb的副总裁和技术人员。之前是微软的技术研究员和公司副总裁。在加入微软之前，是亚马逊的数据挖掘和个性化总监。拥有斯坦福大学计算机科学博士学位，其论文被引用超过40000次，其中有三篇在计算机科学被引用论文Top 1000。
• Diane Tang是Google研究员，擅长大规模数据分析和基础设施、在线控制实验和广告系统。拥有哈佛大学的文学学士学位和斯坦福大学的硕、博学位，并在移动网络、信息可视化、实验方法、数据基础设施和数据挖掘/大数据方面拥有专利和出版物。
• Ya Xu是LinkedIn数据科学和实验担任负责人。她在A/B测试领域使领英成为最受尊敬的公司之一。在领英之前，她在微软工作，并获得了斯坦福大学的统计学博士学位。她被广泛认为是实验领域中最重要的科学家、实践者和思想领袖之一，拥有多项专利和出版物，经常在全国各地的顶级会议、大学和公司发表演讲。

【部分荐序】

• “精益方法论（Lean Methodology）的核心是科学方法：创建假设、进行实验、收集数据、提取见解、验证或修改假设。A/B测试是创建可验证和可重复实验的黄金标准，这本书是它的决定性文本”。——史蒂夫•布兰克(Steve Blank)斯坦福大学兼职教授，现代创业之父，《创业者手册》(The Startup Owner’s Manual)和《顿悟的四个步骤》(The Four Steps to The Epiphany)的作者。
• “一本既严谨又通俗易懂的伟大著作。读者将学习如何将可信的控制实验带给他们的组织，这些实验已经彻底改变了互联网产品开发”。——Adam D’Angelo, Quora联合创始人兼首席执行官，Facebook前CTO。
• “‘哪个在线选择更好?’我们经常需要做出这样的选择，而且经常犯错。为了确定哪种方法更有效，我们需要严格的控制实验，也就是A/B测试。这本由来自微软、谷歌和LinkedIn的专家编写的优秀而生动的书介绍了A/B测试的理论和最佳实践。这是互联网人的必读之书!”——Gregory Piatetsky-Shapiro博士，KDnug