【复习笔记】评估假设

样本真实度置信区间：

对有限数据样本集的采样方法：

• k-fold方法
• 随机抽取至少有30个样例的测试集合，剩余样例组成训练集合，重复这一过程直到足够的次数

1、随机方法的好处是能够重复无数次，以减少置信区间到需要的宽度。
k-fold方法受限于样例的总数。

2、随机方法的缺点是，测试集合不再被看作是从基准实例分布中独立抽取。
k-fold交叉验证生成的测试集合是独立的，因为一个实例只在测试集合中出现一次。

3、概括而言，统计学模型在数据有限时很少能完美地匹配学习算法验证中的所有约束。然而，它们确实提供了近似的置信区间。