28 模型评估技术

标签：机器学习与数据挖掘
（此部分不熟悉的话，可以返回看本系列博客各大章节的内容。每一种方法后面都讲到了评估模型的过程，更加详细的可以回头看，这里做一个概念梳理和汇总。）
  在这一系列的博客开始之前，我们知道，跨行业数据挖掘标准流程包括以下6个阶段：
（1）业务理解阶段
（2）数据理解阶段
（3）数据准备阶段
（4）建模阶段
（5）评估阶段
（6）部署阶段
  之前我们的博客都围绕着建模来展开的，现在我们进入讨论对模型的评估阶段。

## 1.用于评估和预测任务的模型评估技术
  对于评估和预测模型，我们同时提供了数值目标变量的估计（或预测）值，和实际值y。因此，评估模型适用性的一个自然度量为检验估计误差或残差$(y-\hat{y})$。平均残差通常等于0，  我们不能使用它进行模型评估；需要一些其他度量方法。
用于评估估计或预测模型的通用度量为均方误差（MSE）：
$$
\mathrm{MSE}=\frac{\sum_{i}\left(y_{i}-\hat{y}_{i}\right)^{2}}{n-p-1}
$$
（其中，p代表模型变量的个数。）
而，标准误差用$s=\sqrt{\mathrm{MSE}}$来表示。
  稍微回忆一下，我们曾研究了关于MSE的评估度量：
$$
\mathrm{SSE}=\sum_{\text{Records}} \sum_{\text {output nodes }} \text { (actual output) }^{2}
$$
  这粗略表示上述MSE的分子部分。此外，目标是最小化所有输出节点的误差平方和。之前，我们还学习了有关回归模型的另一种度量——决定系数：
$$
R^{2}=\frac{\mathrm{SSR}}{\mathrm{SST}}
$$
  R2代表响应变量中的波动比例，由预测变量和响应变量之间的线性关系进行表示。
  以上评估度量的一个缺点是离群点可能对评估度量值产生不良影响。这是因为以上评估基于误差平方，而与大多数数据相比，离群点的误差平方值更大。因此，分析人员更加喜欢使用平均绝对误差（MAE），MAE定义如下：
$$
\text{平均绝对误差}=\mathrm{MAE}=\frac{\sum\left|y_{i}-\hat{y}_{i}\right|}{n}
$$
其中，|X|对代表 x 的绝对值。MAE将平等对待所有误差。，无论其是否为离群点，从而避免了离群点的不良影响的问题。遗憾的是，并不是所有的统计分析软件均汇报此评估统计值。这样，为了找到MAE，分析人员将会执行以下步骤：
>计算平均绝对误差（MAE）
（1）计算估计的目标值$\hat{y}$。
（2）找到每个估计值和其相应的实际目标值y，间的绝对值$|y-\hat{y}|$。
（3）找到步骤（2）中绝对值的均值，也就是 MAE 。

（这部分在线性回归和多元线性回归的时候已经更加详细地讲过了。）

## 2.用于分类任务的模型评估方法
  在使用C5.0模型进行收入分类时，我们使用本章中的评估概念、方法和工具，如下所示：
- 模型准确率
- 总误差率
- 灵敏性和特效性
- 假正类率和假负类率
- 真正类和真负类的比例
- 假正类和假负类的比例
- 误分类成本和总体模型成本
- 成本-收益表
- 提升图表
- 增益图表

  我们令TN、FN、FP和TP分别代表列联表中真负类、假负类、假正类和真正类的数目。然后我们就有：
                                TAN=实际为负的记录总数=TN+FP
                                TAP=实际为正的记录总数=FN+TP
                                TPN=预测为负的记录总数=TN+FN
                                TPP=预测为正的记录总数=FP+TP
更进一步地，令N-TN+FN+FP+TP代表4种分类的总计数。
  定义完这些之后，我们就有以下的定义。
## 3.准确率和总误差率
  然后我们开始对分类评估度量准确率和总误差率进行讨论：
$$
\text{准确率}=\frac{\mathrm{TN}+\mathrm{TP}}{\mathrm{TN}+\mathrm{FN}+\mathrm{FP}+\mathrm{TP}}=\frac{\mathrm{TN}+\mathrm{TP}}{N}
$$
$$
\text{总误差率}=1-\text{准确率}=\frac{\mathrm{FN}+\mathrm{FP}}{\mathrm{TN}+\mathrm{FN}+\mathrm{FP}+\mathrm{TP}}=\frac{\mathrm{FN}+\mathrm{FP}}{N}
$$
准确率代表模型正确分类比例的总体度量，而总误差率衡量了跨越列联表所有单元的错误分类比例。
## 4.灵敏性和特效性（召回率）
$$
\text{灵敏性}=\frac{\text{真正类的数目}}{\text{实际为正的纪录总数}}=\frac{\text{TP}}{\text{TAP}}=\frac{\text{TP}}{\text{TP}+\text{FN}}
\\
\text{特效性}=\frac{\text{真负类的数目}}{\text{实际为负的记录总数}}=\frac{TN}{TAN}=\frac{TN}{FP+TN}
$$
  灵敏性衡量模型正确分类正类记录的能力，而特效性衡量模型正确分类负类记录的能力。注意，在某些领域，灵敏性被称为召回率。
## 5.假正类率和假负类率
  下一个评估度量为假正类率和假负类率。这些是灵敏性和特效性的加法逆元，正如在它们的公式中看到的那样：
$$
\begin{array}{l}
    \text{假正类率}=1-\text{特效性}=\frac{\text{FP}}{\text{TAN}}=\frac{\text{FP}}{\text{FP}+\text{TN}}\\
    \text{假负类率}=1-\text{灵敏性}=\frac{\text{FN}}{\text{TAP}}=\frac{\text{FN}}{\text{TP}+\text{FN}}\\
\end{array}
$$
## 6.真正类、真负类、假正类、假负类的比例
  我们接下来的评估度量为真正类比例和真负类比例，如下所示：
$$
\begin{array}{l}
    \text{真正类的比例}=\text{PTP}=\frac{\text{TP}}{\text{TPP}}=\frac{\text{TP}}{\text{FP}+\text{TP}}\\
    \text{真负类的比例}=\text{PTN}=\frac{\text{TN}}{\text{TPN}}=\frac{\text{TN}}{\text{FN}+\text{TN}}\\
\end{array}
$$
$$
\begin{aligned}
    \text{假正类的比例}&=1-\text{PTP}=\frac{\text{FP}}{\text{TPP}}=\frac{\text{FP}}{\text{FP}+\text{TP}}\\
    \text{假负类的比例}&=1-\text{PTN}=\frac{\text{FN}}{\text{TPN}}=\frac{\text{FN}}{\text{FN}+\text{TN}}\\
\end{aligned}
$$