二、ABtest

情景：

重要性：

ABtest

面试题：

以一些废话来引入：

还是得工作中锻炼自己的能力，比如说产品做到最后，你需要优化细节，比如按钮配色，字体字号，书上说小四字号是最好的，那就一定吗？

就比如下面这三个页面哪个好？你也不知道，有的用户喜欢大字体，有的喜欢小字体（切记主观臆断），这时候就需要把这个工作交给AB测试。

情景：

老板：小王，这个ABtest你来接一下？

小王：什么是ABtest?

老板：......

重要性：

谷歌是最早做ABtest的（2000年），ABtest的优化每年能为Google搜索带来100亿美元的增长。

ABtest

是什么？

是：让机器为你做一些科学决策的工具。

是：用来验证一个功能是否会被上线的一个重要手段。

对同一个目标制定两套或者多套方案。

ABtest的必要：风险控制；科学决策（用数据的方法去决策）

AB测试会涉及到产品，研发，数据部门，流程较长，环节较为复杂，对于很多还没有真正工作或者说没有切实接触过AB测试的同学来说，实施起来可能有一定的难度。

一般有如下步骤：

1. 开始在实验之前，我们首先需要和相关的产品或者项目经理确认这个实验所要验证的改动点是什么？

2. 确认改动点之后，数据分析师需要设计实验中所需要去观测的一些核心指标，比如点击率，转化率

3. 确定完核心指标之后，下一步就是⭐计算实验所需的最少样本流量⭐，实验样本越大我们的结果越可信。

4. 然后还要结合目前的日均活跃的用户量，⭐计算实验持续的时间周期⭐

5. 计算完所需样本量之后，就要⭐设计流量分割策略⭐，根据实验需要对样本流量进行分流分层，保证样本的随即和均匀分布，避免出现辛普森悖论

6. 准备工作就绪后，就需要和开发同学却惹你可以开始实验。

7. 一般正式实验之前，会通过小流量去看一段时间的灰度实验，目的就是为了验证我们这个改动并不会造成什么特别极端的影响。

8. 灰度实验之后就正式发版，等到试验周期结束，我们对实验的结果进行显著性检验。

简化版流程：1. 和PM沟通确定检验点 2. 分析师确认观测指标3. 确定实验流量4. 发邮件给相关人员（比如PM，开发）确认可以开启实验5. 小流量开启灰度实验；正式发版之前，会看一段时间的灰度实验，灰度实验的目的就是为了验证我们这个功能并不会什么极端的影响，之后就会正式发版开始正式实验。通常情况下，正式实验我们会给一周左右的观测时间来给用户一定的反应时间6. 一周之后，对实验展开分析，整理实验数据，产出实验报告。发给开发，确认收益显著，最终上线

面试题：

⭐如何计算实验样本量呢？

⭐什么是第一类错误？什么是第二类错误

第一类错误：一个功能的改动，本来不能够给我们带来任何的收益，但是我们却误认为它能够带给我们收益；

第二类错误：本来这是一个好的产品，它本来可以带给我们收益，但是由于我们统计的误差，导致我们认为它并不能带给我们收益

很明显，第一类错误更严重，会极大的影响到日活和留存。

待补充....