机器学习菜鸟笔记01

机器学习菜鸟笔记01

模型评估与选择

经验误差与过拟合

一般把学习器的实际预测值与样本真实输出值之间的差异称为“误差”，

学习器在训练集上的误差称为“训练误差”或者“经验误差” ；

学习器在新样本上的误差 称为泛化误差

过拟合：如果学习器将训练样本学习到误差接近为0，则会把训练样本自身的一些特点当做所有潜在样本都会具有的一般性质，这样会导致泛化性能降低。

评估方法

如果仅有一个数据集，就要对该数据集进行适当的处理，从而产生适当的训练集与测试集。

留出法

保持数据集中数据分布的一致性，直接将数据集划分为两个互斥的集合，分别作为训练集S和测试集T。S,T中的样本类别比例应当近似。

使用留出法一般采用多次随机划分，重复进行试验评估取平均值。

缺点在于：

• 若S较小，T较大，则训练样本集和数据集偏差大
• 若S较大，T较小，则测试集得到的泛化误差偏大

通常2/3~4/5用于训练样本

交叉验证法

将数据集划分为k个互斥子集，每个子集尽可能保持数据分布的一致性，然后依次将一个子集作为测试集，其余k-1个子集作为训练集，进行k次试验后求平均值。通常把交叉验