模型评估与选择 周志华 西瓜书

寻欢桑加油哇

---

前言：

本周的任务是啃西瓜，希望我可以坚持下来。

---

提示：以下是本篇文章正文内容，纯纯小白一枚，欢迎大佬批评指正。

一、欠拟合

欠拟合比较容易克服，过拟合则是机器学习面临的关键障碍，能做的只有缓解或者说减少其风险。

二、评估方法

留出法；交叉验证法（特例：留一法LOO）；自助法（又称有放回采样，在数据集较小、难以有效划分训练/测试集时使用效果比较好）。在初始数据充足的情况下，留出法和交叉验证法更好。

三、准确率与召回率

准确率（数据库中的数据被检测出的越多越好，又称查准率TP/(TP+FP)检测相关问题比全部问题）和召回率（数据库中检测的数据相关的越多越好，不相关的越少越好，又称查全率TP/(TP+FN)检测问题比全部被检测的问题）TP+FP+TN+FN=样本总数。两个概念是矛盾的，往往会一高一低。

四、ROC曲线

ROC曲线是一种评价分类模型的可视化工具，ROC的图形是一条横纵坐标均限定在（0，1）内的曲线。横坐标为假正率FPR，表示错误的判定为正例的概率；纵坐标为真正率TPR，表示正确的判定为正例的概率。曲线的凸起程度越高，模型性能越好。和ROC一起出现的另一个指标是AUC，AUC表示ROC曲线下方的面积。ROC是一条曲线，AUC是一个数值。数值可以更好的对模型性能进行量化，所以在评价模型时通常会用AUC进行比较。（AUC =1，是完美的分类器，该模型至少存在一个阈值，可以将正负样本完美的划分开。0.5 < AUC < 1，优于随机猜测，数值越大，分类器越好。AUC = 0.5，相当于随机猜测，模型没有预测价值AUC < 0.5，比随机猜测要差，然而若反向预测，该模型也可优于随机猜测）进行学习器的比较时，与P-R图相似，若被另外一个包住，则后者的性能优于前者，若发生交叉，则无法判断孰优孰劣。

五、二分类代价矩阵

通常而言costii=0）规范化（归一化）是指把不同变化范围的值映射到相同的固定范围，常见的为[0,1]。

总结

本章主要介绍了模型评估与选择，有利于我们接下来的学习。偏差与方差，主要是为了说明他为什么有这样的性能。泛化误差可以理解为偏差、方差、噪声之和。。偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动造成的影响；噪声则表达了当前任务上任何学习算法所能达到的期望泛化误差的下届，即刻画了学习问题本身的难度。误差-方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。为了取得良好的泛化能力，需要偏差较小，这样可以充分拟合数据，并使方差较小，使得数据扰动产生的影响小比如：很多学习算法都可控制训练程度，决策树可以控制层数，神经网络可控制训练轮数，集成学习方法可控制基学习器个数。