第 2 章 模型评估与选择

0 总结

• 机器学习中的性能度量

• 【理论 | 代码】机器学习分类与回归性能评估指标大全

0.1 术语总结

符号/名词	说明
错误率（error rate）	$m$ 个样本中有 $a$ 个样本分类错误，错误率 $E=a/m$
精度（accuracy）	1 - 错误率，1 - $a/m$
误差（error）	学习器实际预测输出与样本的真实输出之间的差异
训练误差（training error）、经验误差（empirical error）	在训练集上的误差
泛化误差（generalization error）	在新样本上产生的误差
过拟合、过配（overfitting）	学习器把训练样本学得“太好”，把训练样本本身的一些特点当作所有潜在样本都具有的一般性质
欠拟合（underfitting）	对训练样本的一般性质尚未学好
测试集（testing set）
测试误差（testing error）	作为泛化误差的近似
留出法（hold-out）
交叉验证法（cross validation）
k折交叉验证（k-fold cross validation）
留一法（Leave-One-Out，LOO）	k折交叉验证中的 ，k 等于样本数量 m
自助法（bootstrapping）
自助采样法（bootstrap sampling）、可重复采样、有放回采样、包外估计（out-of-bag estimate）
参数（parameter）
参数调节、调参（parameter tuning）	对算法参数进行设定
验证集（validation set）	模型评估与选择中用于评估测试的数据集
性能度量（performance measure）	衡量模型泛化能力的评价标准
均方误差（mean squared error）	$E(f;D)=\frac{1}{m}{\sum }_{i=1}^m(f(x_i)-y_i{)}^2$
查准率（precision）、准确率	$P=\frac{TP}{TP+FP}$, 挑出的西瓜中有多少比例是好瓜
查全率（recall）、召回率	$R=\frac{TP}{TP+FN}$,所有好瓜中有多少比例被挑了出来
真正例（true positive，TP）
假正例（false positive，FP）
真反例（true negative，TN）
假反例（false negative，FN）
混淆矩阵（confusion matrix）
P-R 图	以查准率为纵轴、查全率为横轴作图
平衡点 (Break-Event Point，BEP)	一个度量,它是“查准率=查全率”时的取值
宏查准率 (macro-$P$)
宏查全率 (macro-$R$)
宏$F1$
微查准率 (micro-$P$)
微查全率 (micro-$R$)
微$F1$
受试者工作特征（Receiver Operating Characteristic）
真正例率（True Positive Rate, TPR）	所有正例中，正确判断为正的占比
假正例率（False Positive Rate，FPR）	所有反例中，错误判断为正的占比
截断点（cut point）	将样本分为正例与反例的一个阈值
AUC（Area Under ROC Curve）
非均等代价（unequal cost）
代价矩阵（cost matrix）
FNR，假反例率	FNR = 1 - TPR
代价曲线（cost curve）？
统计假设检验（hypothesis test）
二项检验（binomial test）
置信度（confidence）
双边（two-tailed）
偏差-方差分解 (bias-variance decomposition)	解释学习算法泛化性能的一种工具
偏差（bias）	期望输出与真实标记的差，度量学习算法的期望预测与真实结果的偏离程度
方差	度量了同样大小的训练集的变动所导致的学习性能的变化
噪声	表达了在当前任务上任何学习算法能达到的期望泛化误差的下界，即刻画了学习问题本身的难度
偏差-方差窘境（bias-variance dilemma）	学习器拟合能力不够强，偏差大，拟合能力太强，方差大

• 测试集上的判断效果来估计模型在实际使用时的泛化能力，训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参

分类

符号/名词	说明
错误率	$E(f;D)=\frac{1}{m}{\sum }_{i=1}^m\mathbb{I}(f(x_i)\ne y_i)$
精度	$acc(f;D)=\frac{1}{m}{\sum }_{i=1}^m\mathbb{I}(f(x_i)=y_i)=1-E(f;D)$

0.2 符号总结

符号/名词	说明
$S$	训练集
$T$	测试集
$D$	数据集
$f$	学习器
$\mathbb{I}(\cdot )$	指数函数，若 · 为真则取值 1， 否则取值 0
$ϵ$	错误率
$\widehat{ϵ}$	测试错误率
s.t.	subject to 的简写
$y_D$	$x$ 在数据集中的标记
$y$	$x$ 的真实标记，有时候 $y_D\ne y$，因为可能有噪声
${\mathbb{E}}_{.\mathcal{D}}[f(\cdot )]$	函数$f(\cdot )$对·在分布 $\mathcal{D}$ 的数学期望；意义明确时将省略 $\mathcal{D}$ 和或 ·
$f(x;D)$	训练集 $D$ 上学得模型 $f$ 在 $x$ 上的预测输出
$\bar{f}(x)={\mathbb{E}}_D[f(x;D)]$	学习算法的期望预测
$var(x)={\mathbb{E}}_D[f(x;D-\bar{f}(x){)}^2]$	样本数相同的不同训练集产生的方差
${\epsilon }^2={\mathbb{E}}_D[(y_D-y{)}^2]$	噪声
$bia{s}^2(x)=(\bar{f}(x)-y{)}^2$	偏差
$E(f;D)=bia{s}^2(x)+var(x)+{\epsilon }^2$	泛化误差可分解为偏差、方差和噪声之和

0.3 知识总结

1. 经验误差与过拟合

2. 评估方法

2.1 留出法

2.2 交叉验证法

2.3 自助法

2.4 调参与最终模型

3. 性能度量

3.1 错误率与精度

3.2 查准率、查全率 与 $F_1$

3.3 ROC 与 AUC

公式（2.20）推导

公式（2.21）推导

3.4 代价敏感错误率与代价曲线

4. 比较检验

4.1 假设检验

4.2 交叉验证 $t$ 检验

4.3 McNemar 检验

4.4 Friedman 检验与 Nemenyi 后续检验

5. 方差与偏差

公式（2.41）

6. 阅读材料

习题

参考文献