规则化和模型选择

一、交叉验证

训练集S，模型集合M

1、简单交叉验证：70%S训练M，训练出参数，求得假设函数h，在30%S上得到相应的经验错误，选择最小的最为最好的模型

2、k折交叉验证：将交叉验证的测试集/k，每个模型训练k次，测试k次，得到的错误率/k。一般k取10。

3、留一交叉验证：每次只留一个样例作为测试。（用于数据稀疏的情况）

二、特征选择

严格来讲也是模型选择的一种

1、为什么要做特征选择
在有限的样本数目下，用大量的特征来设计分类器计算开销太大而且分类性能差。
2、特征选择的确切含义</