2.2

2.2 评估方法

泛化误差：通过测试误差(testing error)近似

(测试样本尽量不要出现在测试集中)

如何从数据集中产生训练集和测试集？

1.留出法

将数据集分成两个互斥的集合

*划分要尽可能保持数据分布的一致性，若从采样的角度看待数据的划分过程，则保留类别比例的采样方式通常称为分层采样。

例如：数据集一半好一半坏，则测试集也一半好一半坏

*单次使用留出法得到的估计结果往往不够稳定可靠，一般采用若干次随机划分，重复进行实验评估后取平均值作为留出法的评估结果。

*测试集太大，训练集与真实模型可能产生较大差别；测试集太小，评估结果不准确。一般2/3~4/5用于训练。

2.交叉验证法

将数据集通过分层采样的方式均分成k个互斥子集，其中k-1个作为训练集，剩下一个作为测试集，从而可以进行k次测试。

*稳定性和保真性很大程度取决于k,k通常取10

*划分k个子集的方式有所不同，通常使用随机划分的方式

*10次10折交叉验证

*留一法：样本==划分

3.自助法

对数据集D包含m个样本，用有放回的采样m次生成数，集D’，其中一个样本有(1-1/m)^m概率不背抽中，则D约有1/e的样本不在D’

*数据集较小，难以划分时很有用

*改变了初始数据集的分布，引入了估计误差

调参与最终模型：评估测试完成后，参数和模型已经确定，应用所有的数据集重新训练。