机器学习Day2

《机器学习》第二章 模型评估与选择

1.经验误差与过拟合

错误率：分类错误的样本占样本总数的比例
精度：分类正确的样本占样本总数的比例
误差：学习器的实际预测输出与样本真实输出之间的差
训练误差（经验误差）：学习器在训练集上的误差
泛化误差：学习器在新样本上的误差

过拟合：将训练样本的一些特点当作所有样本都具有的一般性质
原因：学习能力过于强大，无法解决，只能缓解

欠拟合：训练样本的一般性质都未学好
原因：学习能力差
解决：在决策树学习中扩展分支、在神经网络学习中增加训练轮数等

2.评估方法

留出法：将数据集划分成两个互斥的集合，分别为训练集、测试集，划分要尽可能保持数据分布的一致性（建议分层采样），通常将2/3到4/5的样本用于训练

交叉训练法：将数据集划分为k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，余下的一个子集作为测试集，进行k次训练，最后取k次训练的平均值作为结果，k的取值通常为10

留一法：将单个样本作为子集进行训练，是交叉训练法的一种特殊情况，评估结果比较准确，但不适用大样本数据

自助法：每次从样本中随机取一个样本，当取样的数量足够大时，约有36.8%的样本不能被取到，能取到的样本作为训练集，不能被取到的样本作为测试集。适用于数据集较小、难划分训练集的情况。

3.调参与最终模型

调参：对算法的参数进行设定
测试数据：学得模型在实际使用中遇到的数据
验证集：模型评估与选择中用于评估测试的训练集

4.性能度量

性能度量：衡量模型泛化能力的评价标准，常用的是均方误差
均方误差：求和（预测结果-真实标记）^2 / 样本数量

查准率：真正例/预测结果正
查全率：真正例/实际结果正

平衡点：查准率=查全率的点，用于比较学习器间的性能，值越大性能越好

ROC：受试者工作特征曲线
AUC：矩形线，对ROC曲线各部分面积求和

代价：样本预测错误时的损失程度，可以自己设定

5.偏差与方差

泛化误差=偏差+方差+噪声（学习算法的拟合能力、数据的充分性、学习任务的难度）

偏差：学习算法的期望预测与真实结果的偏差程度，刻画了学习算法本身的拟合能力

方差：同样大小的训练集的变动导致学习性能的变化，刻画了数据扰动造成的影响

噪声：当前任务上任何学习算法所能达到的期望泛化误差的下界，刻画了学习问题的难度