AB测试需要知道的知识

ABtest简介

一般有两种以上方案，通过小范围发布，让相似用户去随机体验几种方案之一，根据观测结果，选择效果最好的版本。

---

常见概念

假设检验：用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。

显著性检验：假设检验中最常用的一种方法，其基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断。

P值：在原假设成立的前提下，出现错误实验结果或更极端结果出现的概率。

显著性水平：估计总体参数落在某一区间内，可能犯错误的概率，用α表示。