机器学习应用系统设计 第六章

6.效果验证

6.1 效果验证概述

6.1.1 效果验证前过程

问题定义----假设检验---行动（开发）-----效果验证

6.1.2 离线难以验证的效果内容

经济效果

考虑系统能带来多大的利润

日志的副作用

使用含有自身预测结果偏好的数据开展实验需要高成本难的仿真系统，另外，以相同日志作为学习数据的其他预测器也将受到影响。

6.2 假设检验的框架

假设检验是效果验证的基础，是根据一定假设条件由样本统计推断总体的一种方法，用来判断样本与样本，样本与总体的差异源自于抽样误差还是本质差别。

假设验证的原则是，如果p值低于事先确定的显著性水平，则放弃零假设。

检验能力=1-显著性差异存在却判断为不存在的概率。

 

6.3 假设检验的注意事项

常见的错误的检验应用模式

6.3.1 重复检验

6.3.2 显著性差异与业务效果

6.3.3 多重检验

6.4 因果效应的推断

假设检验从样本推断到总体的性质，接着就要推断对总体产生的影响。

6.4.1 因果模型

6.4.2 选择偏好

6.4.3 随机对照实验

6.4.4 历史比较的困难

6.5 A/B测试

大致流程

1.抽取两群组

群组抽取与样本容量

2.A/A测试

通过A/A测试确认均质性

3.介入某一群组

执行A/B测试

（1）为及时终止效果差的测试而设置的警告、自动停止功能

（2）测试工作之间相互作用内容的自动检测功能

4.确认结果

5.测试结束