数据分析笔记——A/B测试

看过很多，博客和知乎答主的回答，很多都恍惚
唯独引用笔记有用，特别是第一条链接
Reference：
什么是 A/B 测试？ - 宁静之雨的回答 - 知乎
https://www.jianshu.com/p/35b3b1d05132

但凡学过中学的简单控制变量法，都不难理解A/B测试的原理。无非就是对两个样本做对照，得出差异部分的正负影响。

这个问题的重点，是如何应用的实际工作中。

如果是线下产品，你的代价是要制造出两份商品来让客户消费，最后评估结果；
如果是在线发布的产品，你的代价是均匀剥离样本和分开跟踪，最后评估结果。

以后者来说：
1、你怎么保证剥离的样本，在量级、属性上相似，并且能代表全局特性；
2、你怎么保证满足1条件后能准确针对样本，来实施变量精准调控；
3、你怎么保证满足2条件后，能准确跟踪到两个样本的表现特征。

线上的用户不是中学课本上的实验对象，用户都是活人，而且不是你能直接看到摸到的，我们通常只能通过数据观测来分析和得出结论。

这就依赖至少以下能力：
1、线上产品能对每个独立用户做身份标记
2、能均匀地把独立用户分成2个属性一致的样本群体A和B
3、能针对A和B在线调控出变量
4、能分离A和B因为变量导致的数据差异

这里涉及到版本发布的预见性、云端调控的灵活性、数据跟踪的准确性等问题，是要根据实际问题调整的。发散开去，都是一个个命题，如何给独立用户做标记，如何把数据统计和标记关联起来之类的。

做ABtest时需要考虑的问题？

1. 样本是否具有代表性，首先在样本的选取中就需要先行进行控制；
2. 估计值是否是实际值的真实反映？即估计的准确性。
3. 如果样本有偏差，考虑区间估计
4. 怎么分配流量来做多组测试？—根据统计功效计算

作者：yuangungun7
链接：https://www.jianshu.com/p/35b3b1d05132
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

更多具体案例请点击下方
添什么是 A/B 测试？ - 腾讯技术工程的回答 - 知乎

数学检验（懒得贴了直接给链接）