统计学习方法第一章第五节

1.5正则化与交叉验证（两种模型选择方法）

一正则化

1模型选择典型的方法就是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。

2正则化项可以取不同的形式

3正则化的作用：选择经验风险和模型复杂度同时较小的模型

二交叉验证

1进行模型选择一种简单的方法是随机地将数据集切分成三部分，分别为训练集，验证集，测试集。训练集用来训练模型，验证集用于模型的选择，测试集永固最终对学习方法的评估。选择对验证集有最小预测误差的模型。

2为了选择好的模型，可以采用交叉验证的方法。基本思想：重复地使用数据，把给定的数据进行切分，将切分的数据集组合为训练集和测试集，在此基础上反复地进行训练，测试以及模型选择。

a简单交叉验证:首先随机地将已给数据分为两部分，一部分为训练集，一部分为测试集（70%，30%）；然后用训练集在各种条件下训练模型，从而得到不同的模型；在测试集上评价各个模型的测试误差，选出测试误差最小的模型。

bS折交叉验证（应用最多）方法：首先随机地将已给数据切分为S个互不相交的大小相同的子集；然后利用S-1个子集的数据训练模型，利用余下的子集测试模型；将这一过程对可能的S中选择重复进行；最后选出S次测评中评价测试误差最小的模型。

c留一交叉验证

是b中S = N时的情况，相当于每个子集中占有一个数据