机器学习期末复习02

评估方法

1.1训练集与测试集的划分方法
1，希望用一个“测试集”的“测试误差”来作为“泛化误差”的近似
2，需要对初始数据集进行有效划分，划分出互斥的“训练集”和“测试集”
1.2常用的划分方法
将m个样本的数据集拆分成训练集S和测试集T
1，留出法
（1）直接将数据集化分为两个互斥集合
（2）训练/测试集划分要尽可能保持数据分布的一致性
（3）一般若干次随机划分、重复实验取平均值
（4）训练/测试样本比例通常为2：1～4：1
2，交叉验证法
将数据集分层采样划分为k个大小相似的互斥子集，每次用k-1个的子集的并集作为训练集，余下的子集作为测试集，最终返回k个测试结果的均值，k最长用的取值是10。
3，留一法
假设数据集D包含m个样本，若令k=m，则得到留一法
（1）不受随机样本划分方式的影响
（2）结果往往比较准确
（3）当数据集较大时，计算开销难以忍受
注：（1）留出法和交叉验证法保留了一部分样本用于测试，实际评估的模型所使用的训练集比初始数据集小，必然会引入一些因训练样本规模不同而导致的估计偏差
（2）留一法使用的训练集与初始数据集相比只少了一个样本，受训练样本规模变化影响较小，结果往往比较准确，但计算复杂度又太高。

性能度量

性能度量是衡量模型泛化能力的评价标准，反应了任务需求；使用不同的性能度量往往会导致不同的评判结果。

1，回归任务最常用的性能度量是“均方误差”

2，分类任务错误率和精度是最常用的两种性能度量
（1）错误率：分错样本占样本总数的比例
（2）精度：分对样本占样本总数的比率
（3）错误率+精度=1
3，查准率和查全率
类似于信息检索、web搜索等场景中经常需要衡量正例被预测出来的比率或者预测出来的正例中正确的比率，此时查准率和查全率比错误率和准确率更合适

统计真实类别和预测结果得到混淆矩阵

（1）查准率：真实情况为正占预测结果为正的比例

（2）查全率：预测结果为正例占总的真实类别为正例的比例

（3）真正例率：与R相同

（4）假正例率：真实情况中被预测样本对应为负的情况占总的真实情况为负的比例

（5）P-R曲线：根据学习器的预测结果按正例可能性大小对样例进行排序，并逐个把样本作为正例预测，则可以得到查准率-查全率曲线，简称“P-R曲线”
注：水平轴为查全率，垂直轴为查准率。平衡点是曲线上的“查准率=查全率”的点，可以来度量P-R曲线有交叉的分类器性能高低。
（6）ROC曲线：类似于P-R曲线，根据机器学习得预测结果对样例进行排序，并逐个作为正例进行预测，以“假正例率”为横轴，“真正例率”为竖轴即可得到ROC曲线

注：ROC曲线的AUC即是ROC曲线下面积的大小。

在ROC分析中，分类器的性能曲线的理想状态就是越靠上越好（AUC趋近于1）