机器学习#模型评估和选择1

机器学习#模型评估与选择1

训练集上的误差：

1. 训练误差
2. 经验误差

在新样本上的误差称为泛化误差。

“欠拟合”和“过拟合”的解决方法：

1. 欠拟合比较容易克服，例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数。
2. P=NP，通过经验误差最小化就能获得最优解。

模型选择的理想解决方案：对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。

在m个样例的数据集D拆分训练集S和测试集T：

1. 训练集S
2. 测试集T

拆分方法：

1. 留出法：将D拆分为S和T，即D=S∪T，S∩T=∅
2. 交叉验证法：
   a.“K倍验证法”，分成k个子集，将k-1子集作为训练集，其余作为测试集；对测试集得到的测试结果求平均，返回K个测试结果的均值。
   b.“自助法”，又称为可重复采样或有放回采样。从初始数据集中产生多个不同的训练集，对集成学习有很大好处，但可能引入估计误差。