AB测试可以用来测什么？不能测什么？

AB测试可以测什么：

AB测试是常用的因果推断方法，可以用来检验新功能发版是否有效、策略上线是否有效。

有两个方向的应用场景，一是产品迭代，二是策略优化。其中策略包括运营策略、算法策略等。

具体例子：

应用场景	具体场景	举例
产品功能优化	功能去留决策	新功能是否上线、旧功能是否下线。
	功能策略优化	默认打赏金额的变更、下单流程的变更等。
	产品UI优化	App LOGO的优化、首页界面优化等。
	产品文案的优化	发消息的默认文案、节假日文案的变更等。
运营策略优化	运营策略设置	App打卡奖励，频次设置、奖励金额设置。
	活动文案优化	比如活动标题的设置。
	Push促活优化	Push发送时间段、发送频次、内容。
推荐算法优化	调整模型的参数	评估影响的用户量级、对指标的影响程度。

AB测试不能测什么：

数据回收周期很长的：比如改变投放渠道对ROI的影响，ROI投入产出比是长期指标，核算起来可能要整个月甚至整年。

数据量极其小的：比如某个功能渗透很低，每天只有十位数的用户数。

损害用户利益的：比如不同的人下单的时候看到的金额不一样，可能刚好在进行优惠力度的实验时对照组和实验组分组不同而导致的，但被用户发现会认为是大数据杀熟。