【机器学习第二章——模型评估与选择】

2.模型评估与选择

2.1经验误差与过拟合

我们需要使得使用训练集训练出来的模型，能够在未见样本中，也起到很好的效果，这时候就需要模型的泛化能力要足够强

• 泛化误差：在“未来”样本上的误差
• 经验误差：在训练集上的误差，亦称为“训练误差”

那么
$$泛化误差越小越好？$$

$$经验误差越小越好？$$

答案是否定的，因为会出现过拟合，就比如下图中，训练集中的树叶都是有锯齿的，过度训练会让模型认为树叶都需要有锯齿，把一类树叶的特性当作了一般规律，导致了过拟合。

相反，还有另一种情况称为欠拟合，也就是样本中的数据的性质并没有在模型中学好。

• 模型选择三个关键问题
  • 评估方法：我们无法直接获得泛化误差，而训练误差又由于过拟合现象的存在而不适合作为标准，那么如何进行模型评估与选择呢？
  • 如何评估性能优劣？——>性能度量
  • 如何判断实质差别？——>比较检验

2.2 评估方法

关键：怎么获得“测试集”？

测试集应该与训练集“互斥”

常见方法

• 留出法

  单次使用留出法得到的估计结果往往不够稳定可靠，所以一般来说，会采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。
  

  • 注意：
    • 保持数据分布一致性（例如：分层采样）
    • 多次重复划分（例如：100次随机划分）
    • 测试集不能太大、不能太小（例如：1/5~1/3）
  • 留出法存在问题
    • 对于所有数据而言，留出法并不能保证每个数据都能被抽到当作测试集（因为测试集需要用全新的数据对模型进行检验）。

• k折交叉验证法

  把数据集划分为k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。
  

• 自助法（有放回采样、可重复采样）

  • 从m个样本的数据集中，每次随机挑出一个样本，并把这个样本拷贝到训练集中，然后放回，重复m次采样，所以训练集就有m个样本数据，但是训练集中可能会有原始数据集中重复的数据。
    

  • 那么m个样本数据集在进行m次采样，始终不被采到的概率是
    $$(1-\frac{1}{m}{)}^m$$
    取极限得到
    $$\underset{m->\infty }{\lim }(1-\frac{1}{m}{)}^m=\frac{1}{e}\approx 0.368$$
    这种测试结果称为“包外估计“

  • 优点

    • 训练集与原样本集同规模

  • 缺点

    • 数据分布有所改变

调参与验证集

• 大多数学习算法都有些参数需要设定，参数配置不同，学得模型的性能往往有显著差别。因此，在进行模型评估与选择时，除了要对适用学习算法进行选择，还需对算法参数进行设定，这就是通常所说的"参数调节"或 简称"调参" 。
• 为了进行参数调节，我们会在原有训练集的基础上，留出一部分作为验证集，就是为了对参数进行验证。
• 参数
  • 算法的参数：一般由人工设定，亦称为”超参数“。例如一个多项式该定为几次方。
  • 模型的参数：一般由学习确定。例如多项式中，系数的取值。
• 调参过程相似：先产生若干模型，然后基于某种评估方法进行选择。
• 参数调得好不好，往往对最终性能有关键影响。

2.3 性能度量

衡量模型泛化能力的评价标准，反映了任务需求，使用不同的性能度量往往会导致不同的评判结果。
$$什么样的模型是好的，不仅取决于算法和数据，还取决于任务需求$$

回归任务常用均方误差

$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$

错误率

$$E(f;D)=\frac{1}{m}\sum _{i=1}^mⅡ(f(x_i)\ne y_i)$$

精度

$$\begin{gathered} acc(f;D)=\frac{1}{m}\sum _{i=1}^mⅡ(f(x_i)=y_i) \\ =1-E(f;D) \end{gathered}$$

查准率、查全率与F1

• 查准率
  $$P=\frac{TP}{TP+FP}$$
  用模型查出来的正例中，有多少是真正的正例

• 查全率
  $$R=\frac{TP}{TP+FN}$$
  在样本的所有正例中，我查出了多少的正例

• F1度量
  基于查准率与查全率的调和平均定义的
  $$\frac{1}{F1}=\frac{1}{2}(\frac{1}{P}+\frac{1}{R})$$
  可化为
  $$\begin{gathered} F1=\frac{2\times P\times R}{P+R} \\ =\frac{2\times TP}{样例总数+TP-TN} \end{gathered}$$
  若对查准率/查全率有不同偏好。就像在商品推荐系统中，更希望推荐的内容是用户感兴趣的，此时查准率更重要；在逃犯信息检索系统中，更希望尽可能少漏掉逃犯，此时查全率更重要：
  $$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$
  上式可由下式推到而来
  $$\begin{gathered} F_{\beta }是加权调和平均: \\ \frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}(\frac{1}{P}+\frac{{\beta }^2}{R}) \end{gathered}$$
  与算术平均
  $$\frac{P+R}{2}$$
  和几何平均
  $$\sqrt{P\times R}$$
  相比，调和平均更重视较小值
  $$\begin{gathered} \beta >1时查全率有更大影响 \\ \beta <1时查准率有更大影响 \end{gathered}$$

• 每次训练和测试后，都可以得到一个混淆矩阵，但我们希望综合考察查准率和查全率，就需要去求平均值

  • 直接对查准率和查全率相加，求平均
    $$(宏查准率)macro-P=\frac{1}{n}\sum _{i=1}^n{P}_i$$

    $$(宏查全率)macro-R=\frac{1}{n}\sum _{i=1}^n{R}_i$$

    $$(宏F1)macro-F1=\frac{2\times (macro-P)\times (macro-R)}{(macro-P)+(macro-R)}$$

  • 或者把各混淆矩阵对应元素进行平均，记为
    $$\overline{TP}、\overline{FP}、\overline{TN}、\overline{FN}$$

    $$(微查准率)micro-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}$$

    $$(微查全率)micro-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}$$

    $$(微F1)micro-F1=\frac{2\times (micro-P)\times (micro-R)}{(micro-P)+(micro-R)}$$

ROC与AUC

• 使用模型对测试样本产生一个实值或概率预测，然后把预测值与阈值作比较，若大于阈值分为正类，反之则分为反类，根据预测值的高低，需要把测试样本进行排序，最可能是正例的排在前面，最不可能是正例的排在后面。

• 接着使用排序好的样本绘制ROC图，纵坐标代表“真正例率”（TPR），横坐标代表“假正例率”（FPR）
  $$TPR=\frac{TP}{TP+FN}$$

  $$FPR=\frac{FP}{TN+FP}$$

  • 假设有10个正例和m个反例，排好序后，把分类阈值设为最大，即把所有样例均预测为反例，如下表所示，此时的真正例率和假正例率均为0，所有图像从（0，0）处开始
    

  • 将分类阈值一次设为每个样例的预测值，即依次将每个样例划分为正例。假设第一个预测值为0.8，即该样本有0.8的概率是正例，现在我们假设该样本确实为正例，那么可得到下表，此时的真正例率为1/10，所以该点需要在原来坐标的基础上向上平移1/10，即得到坐标（1/10，0）
    

    假设第二个预测值为0.7，即该样本有0.7的概率是正例，现在我们假设该样本为反例，也就是预测结果发生了错误，那么可得到下表，此时的假正例率为1/10，所以该点需要在原来坐标的基础上向右平移1/10，即得到坐标（1/10，1/10）
    

    依次类推，可得到图(b)。图(a)为有无限个样本产生的光滑曲线，现实中只能采取到有限个样本，所以只能是无限逼近于图(a)。当ROC图呈现出对角线时，对应的则是“随机猜测”模型；当ROC图会经过点(1，0)时，即所有真正例都排在所有真反例前，为理想模型。
    $$所以曲线下方的面积AUC越大，说明模型越好$$

• AUC

  • $$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_i)(y_i+y_{i+1})$$

  • 排序损失定义为

    

    

代价敏感错误率与代价曲线

现实中，不同类型的错误所造成的后果是不同的，即错误的代价不同。
$$\begin{gathered} cos{t}_{ij}表示将第i类样本预测为第j类样本的代价 \\ cos{t}_{ii}=0 \end{gathered}$$

$$假设cos{t}_{01}>cos{t}_{10}，损失程度相差越大，cos{t}_{01}与cos{t}_{10}值的差别越大。$$

• 代价敏感错误率

$$E(f;D;cost)=\frac{1}{m}(\sum _{x_i\in D^{+}}Ⅱ(f(x_i)\ne y_i)\times cos{t}_{01}+\sum _{x_i\in D^{-}}Ⅱ(f(x_i)\ne y_i)\times cos{t}_{10})$$

• 在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而“代价曲线”则可达到该目的，代价曲线图的横轴是取值为[0,1]的正例概率代价
  $$\begin{gathered} P(+)cost=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}} \\ p是样例为正例的概率 \end{gathered}$$
  纵轴是取值为[0,1]的归一化代价
  $$cos{t}_{norm}=\frac{FNR\times p\times cos{t}_{01}+FPR\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$

  $$\begin{gathered} FPR=\frac{FP}{TN+FP}(假正例率) \\ FNR=1-TPR(假反例率),TPR=\frac{TP}{TP+FN}(真正例率) \end{gathered}$$

  

2.4 比较检验

在某种度量下取得评估结果后，是否可以直接比较以评判优劣？
$$答案是不行的$$

• 因为：
  • 测试性能不等于泛化性能
  • 测试性能随着测试集的变化而变化
  • 很多机器学习算法本身有一定的随机性

假设检验

泛化错误率与测试错误率未必相同，但二者接近的可能性应比较大，所以可根据测试错误率估推出泛化错误率的分布

• 泛化错误率为
  $$ϵ$$
  的学习器在一个样本上犯错的概率是
  $$ϵ$$

• 测试错误率
  $$\widehat{ϵ}$$
  意味着在m个测试样本中恰有
  $$\widehat{ϵ}\times m$$
  个被误分类

• ​ 泛化错误率为
  $$ϵ$$
  的学习器被测得测试错误率为
  $$\widehat{ϵ}$$
  的概率
  $$P(\widehat{ϵ};ϵ)=C_m^{\widehat{ϵ}\times m}{ϵ}^{\widehat{ϵ}\times m}(1-ϵ{)}^{m-\widehat{ϵ}\times m}$$

假设
$$ϵ=0.3$$
则有10个样本中测得3个被误分类的概率最大，而在提出假设后，发现某次被误分类数量达到了6~10个，那么可以很大概率上说，刚才的假设并不成立，因为
$$\begin{gathered} \alpha 很小 \\ 常见取值有0.05、0.1 \end{gathered}$$

那么推翻这个假设也需要一个边界，即有几个错误数时，假设就需要推翻，刚才我们假设的
$$ϵ=0.3$$
为最小边界。

这个边界可由下式得出

我们需要找出满足条件的最小的
$$ϵ$$
还是以上面10个样本为例，当
$$ϵ=0.9$$
也就是现在错误数有9个，把9以上的错误率进行求和（10个错误数的错误率），求和的值是否小于给定的
$$\alpha$$
若小于，可以继续降低到
$$ϵ=0.8$$
也就是现在错误数有8个，把8以上的错误率进行求和（9个错误数+10个错误数的错误率），求和的值是否小于给定的
$$\alpha$$
若小于，可以继续降低到
$$ϵ=0.7$$
也就是现在错误数有7个，把7以上的错误率进行求和（8个错误数+9个错误数+10个错误数的错误率），求和的值是否小于给定的
$$\alpha$$
若小于，可以继续降低到
$$ϵ=0.6$$
也就是现在错误数有6个，把6以上的错误率进行求和（7个错误数+8个错误数+9个错误数+10个错误数的错误率），求和的值是否小于给定的
$$\alpha$$
若小于，可以继续降低到
$$ϵ=0.5$$
也就是现在错误数有5个，把5以上的错误率进行求和（6个错误数+7个错误数+8个错误数+9个错误数+10个错误数的错误率），根据上图显示，错误数为5时，已经超出了
$$\alpha$$
的范围，所以本例中
$$\overline{ϵ}=0.5$$
也就是说测试错误率小于刚刚我们算出的这个临界值时，假设
$${ϵ}_0=0.3,即ϵ\le 0.3$$
不能被拒绝

t检验

很多时候是通过多次重复留出法或是交叉验证法等进行多次训练，这样就会得到多个测试错误率，假定我们得到了k个测试错误率
$${\widehat{ϵ}}_1,{\widehat{ϵ}}_2,...,{\widehat{ϵ}}_k$$

$$平均测试错误率\mu =\frac{1}{k}\sum _{i=1}^k{\widehat{ϵ}}_i$$

$$方差{\sigma }^2=\frac{1}{k-1}\sum _{i=1}^k({\widehat{ϵ}}_i-\mu {)}^2$$

考虑到这k个测试错误率可看作泛化错误率
$${ϵ}_0$$
的独立采样，则变量
$$\begin{gathered} t=\frac{\sqrt{k}(\mu -{ϵ}_0)}{\sigma }(正态标准化的过程) \\ \mu 为样本均值，{ϵ}_0为总体期望,\sigma 为标准差服从自由度为k-1的t分布 \end{gathered}$$
上式涉及到概率论的知识，这里补充一下，正态分布如下

$$需要注意的是，上面的\mu 指的是总体期望,\overline{X}才是样本期望$$

式子相当于
$$t=\frac{\mu -{ϵ}_0}{\frac{\sigma }{\sqrt{k}}}=N(0,1)$$

$$\begin{gathered} 这里的\mu 指的是样本期望,{ϵ}_0才是总体期望 \\ 按上面式子转化后，均值为0，方差为1，如下图所示 \end{gathered}$$

如果t的取值落在中间（不在阴影范围内），那么就可以把平均值当作泛化误差来使用，如果落在阴影范围内，说明假设不能成立。

交叉验证t检验

这时候是有两个学习器A和B，这样就会得到两组测试错误率
$${\widehat{ϵ}}_1^A,{\widehat{ϵ}}_2^A,...,{\widehat{ϵ}}_k^A和{\widehat{ϵ}}_1^B,{\widehat{ϵ}}_2^B,...,{\widehat{ϵ}}_k^B$$
和上面的t检验类似，这里是取
$$t=\left|\frac{\mu }{\frac{\sigma }{\sqrt{k}}}\right|=|\frac{\sqrt{k}\mu }{\sigma }|$$
也就是将上图t分布的图像，沿中间对折，即只留大于零的区域，如果取值在阴影部分，假设不成立，反之则可以成立。

McNemar检验

对于两个模型来说，可列出如下的列联表

若我们做的假设是两学习性能相同，则应有
$$e_{01}=e_{10}$$
如果这两个值差距太大的话，比如
$$e_{01}>e_{10}$$
那么可以说明算法B性能比A好。

Friedman检验与Nemenyi后续检验

​ 假定我们用D1、D2、D3和 D4四个数据集对算法A、B、C进行比较.首先,使用留出法或交叉验证法得到每个算法在每个数据集上的测试结果,然后在每个数据集上根据测试性能由好到坏排序,并赋予序值1，2，…;若算法的测试性能相同,则平分序值.例如，在D1和 D3上,A最好、B其次、C最差，而在D2上,A最好、B与C性能相同，……,则可列出表2.5,其中最后一行通过对每一列的序值求平均,得到平均序值.

$$\begin{gathered} {\tau }_{{\chi }^2}=\frac{k-1}{k}\frac{12N}{k^2-1}\sum _{i=1}^k(r_i-\frac{k+1}{2}{)}^2 \\ =\frac{12N}{k(k+1)}(\sum _{i=1}^k{r}_i^2-\frac{k(k+1{)}^2}{4}) \end{gathered}$$

$$r_i服从正态分布，其均值和方差分别为\frac{k+1}{2}和\frac{k^2-1}{12}$$