2.模型评估与选择

机器学习复习（二）：模型评估与选择

经验误差与过拟合

（分类任务）

错误率：分类错误的样本数占样本总数的比例

相应的，精度（准确率）：=1-错误率

误差（误差期望）：学习器的实际预测输出与样本的真实输出间的差异

• 训练误差（经验误差）：学习器在训练集上的误差
• 泛化误差：学习器在新样本上的误差

希望泛化误差最小，但实际上因为不知道新样本，无法直接获得泛化误差

过拟合：学习器把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降

欠拟合：对训练样本的一般性质尚未学好

过拟合无法彻底避免，只能“缓解”

---

评估方法

训练集S，测试集（验证集）T

测试误差，作为泛化误差的近似

留出法、交叉验证法、自助法

在样本D（$|D|=m$）中产生训练集S，测试集T：

1. 留出法
   • S、T互斥：$D=S \bigcup T,, S\bigcap T=\emptyset $
   • 数据分布一致性
     • 分层采样：保留类别比例
   • 若干次随机划分、重复进行实验评估后取平均值
   • S/T比例
2. 交叉验证法（k折交叉验证法）
   • $D=D_1\bigcup D_2\bigcup \cdots \bigcup D_k,D_i\bigcap D_j=\varnothing (i\ne j)$，$D_i$都尽可能保持数据分布一致性，即从$D$中通过分层取样得到
   • 每次用$k-1$个子集的并集作为训练集，余下的子集作为测试集；则获得$k$组$S/T$，进行$k$次训练和测试最终返回$k$个测试结果的平均值
   • $k=m$，留一法
     • 比较准确
     • 缺陷：数据集较大时，计算开销大
3. 自助法（重复采样法、有放回采样法）
   • D中约有36.8%的样本未出现在采样数据集$D^{\prime }$
   • $D^{\prime }$：训练集，$D-D^{\prime }$=测试集
     • 包外估计
   • 优：
     • 数据集较小、难以有效划分训练/测试集时很有用
     • 能从初始训练集中产生多个不同的训练集，利于集成学习
   • 缺：
     • 改变了初始数据集的分布，引入估计偏差。因此，初始数据量足够时，留出法和交叉验证法更常用

调参与最终模型

两类参数：算法的参数（“超参数”），模型的参数

• 同：调参方式相似，均是产生多个模型之后基于某种评估方法来进行选择
• 异：
  • 超参数：由人工设定多个参数候选值后产生模型
  • 模型参数：通过学习来产生多个候选模型

---

性能度量

衡量模型泛化能力的评价标准

回归任务

均方误差：

​ $E(f;D)=\frac{1}{m}{\sum }_{i=1}^m(f(x_i)-y_i{)}^2.$

分类任务

错误率：

​ $E(f;D)=\frac{1}{m}{\sum }_{i=1}^{m}I(f(x_i)\ne y_i).$

精度（准确率）：

​ KaTeX parse error: {split} can be used only in display mode.

查准率、查全率

混淆矩阵：

查准率：

挑出的西瓜中有多少比例是好瓜

​ $P=\frac{TP}{TP+FP}$

查全率:

所有好瓜中有多少比例被挑了出来

​ $R=\frac{TP}{TP+FN}$

$P-R$曲线

1. 包住
2. 交叉
   • 面积
   • 平衡点$BEP$

$F1$度量

不考，不作为重点

查准率和查全率的调和平均：

​ $\frac{1}{F1}=\frac{1}{1+1}(\frac{1}{P}+\frac{1}{R})$

查准率和查全率的加权调和平均：

​ $\frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}(\frac{1}{P}+\frac{{\beta }^2}{R})$

$\beta >0$：度量查全率R对查准率的相对重要性

• 宏查准率、宏查全率，宏$F1$、宏$F_{\beta }$
• 微查准率、微查全率，微$F1$、微$F_{\beta }$

---

偏差与方差

泛化误差=偏差+方差+噪声

1. 偏差
   • 度量学习算法的期望预测与真实结果的偏离程度
   • 刻画学习算法本身的拟合能力
2. 方差
   • 度量同样大小的训练集的变动所导致的学习性能的变化
   • 刻画数据扰动所造成的影响
3. 噪声
   • 表达在当前任务上任何学习算法所能达到的期望泛化误差的下界
   • 刻画了学习问题本身的难度