机器学习#模型评估与选择1
训练集上的误差:
- 训练误差
- 经验误差
在新样本上的误差称为泛化误差。
“欠拟合”和“过拟合”的解决方法:
- 欠拟合比较容易克服,例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数。
- P=NP,通过经验误差最小化就能获得最优解。
模型选择的理想解决方案:对候选模型的泛化误差进行评估,然后选择泛化误差最小的那个模型。
在m个样例的数据集D拆分训练集S和测试集T:
- 训练集S
- 测试集T
拆分方法:
- 留出法:将D拆分为S和T,即D=S∪T,S∩T=∅
- 交叉验证法:
a.“K倍验证法”,分成k个子集,将k-1子集作为训练集,其余作为测试集;对测试集得到的测试结果求平均,返回K个测试结果的均值。
b.“自助法”,又称为可重复采样或有放回采样。从初始数据集中产生多个不同的训练集,对集成学习有很大好处,但可能引入估计误差。