【史上最全】一文搞定机器学习的模型评估

最新推荐文章于 2024-10-04 08:54:00 发布

Code_LT

最新推荐文章于 2024-10-04 08:54:00 发布

阅读量845

点赞数 15

分类专栏：机器学习算法深度学习文章标签：机器学习人工智能算法

本文链接：https://blog.csdn.net/Code_LT/article/details/126135294

版权

机器学习算法同时被 2 个专栏收录

7 篇文章 0 订阅

订阅专栏

深度学习

1 篇文章 0 订阅

订阅专栏

文章目录

0. 数学约定

模型的“好坏”是相对的，取决于算法和数据，也取决于任务需求。
衡量模型的“好坏”的过程叫模型评估，也叫性能度量（performance measure）。

本篇数学约定如下：

$\boldsymbol {x}_i$ 为样本向量
$f$ 为模型
$f(\boldsymbol {x})$ 为模型预测结果
$y_i$ 为样本 $\boldsymbol {x}_i$ 对应的真实结果。
$E(y_i)$ 表示结果集 ${y_i\}$ 的期望， $E(y_i)=\bar y =\frac{1}{n} \sum_{i=1}^{n}y_i$ 。
$Va r (y)$ 表示y的方差。 $Var(y)=E((y_i-\bar y)^2 )$

1. 回归型任务

简要总结如下：

评估法	函数	数学公式	说明
MSE	mean_squared_error	$MSE=\frac{1}{n}\sum_{i=1}^{n}(f(\boldsymbol x_i)-y_i)^2，n为样本量$	MSE即预测误差的数学期望，是最常用的一个性能度量方法。
${R^2}$	r2_score	$R^2=1-\frac{\sum_{i=1}^{n}(f(\boldsymbol x_i)-y_i)^2}{\sum_{i=1}^{n}(y_i-\bar y)^2}$	【维基百科：】在统计学中用于度量应变数的变异中可由自变量解释部分所占的比例，以此来判断回归模型的解释力。
MAE	mean_absolute_error	$MSE=\frac{1}{n}\sum_{i=1}^{n}\|f(\boldsymbol x_i)-y_i\|$
MSLE	mean_squared_log_error	$MSLE=\frac{1}{n}\sum_{i=1}^{n}(log_e(1+f(\boldsymbol x_i))-log_e(1+y_i))^2$	该指标最适合用于具有指数增长的目标，例如人口数量、商品在几年内的平均销售额等。请注意，该指标对低估的估计值比高估的估计值的惩罚更大。
MAPE	mean_absolute_percentage_error	$MAPE=\frac{1}{n}\sum_{i=1}^{n}\frac{\|f(\boldsymbol x_i)-y_i\|}{\max(\epsilon,\|y_i\|)}$	MSLE会忽略小幅度值，只反映最高幅度值的预测误差。但是这个问题在 MAPE 的情况下得到了解决，因为它计算了相对于实际输出的相对百分比误差。
MedAE	median_absolute_error	$MedAE=median(\|f(\boldsymbol x_1)-y_1\|，\|f(\boldsymbol x_2)-y_2\|,\cdots,\|f(\boldsymbol x_n)-y_n\|)$	MedAE它对异常值具有鲁棒性。损失是通过取目标和预测之间的所有绝对差的中值来计算的。
MaxError	max_error	$Error=\max(\|f(\boldsymbol x_i)-y_i\|)$
EVS	explained_variance_score	$=1-\frac{Var(y_i-f(\boldsymbol x_i))}{Var(y_i)}$	$E V S$ 和 ${R^2}$ 得分之间的差异： ${R^2}$ 是当 $E V S$ 不考虑预测中的系统偏移时的情况。出于这个原因， ${R^2}$ 通常应该是首选。
MTDE	mean_tweedie_deviance	$\def\bsl{\boldsymbol}MTDE=\frac{1}{n}\sum_{i=-1}^n\begin{cases}(f(\bsl x_i)-y)^2 &,p=0\\2(y_i log(\frac{y_i}{f(\bsl x_i)})+f(\bsl x_i)- y_i) &,p=1\\2(log(\frac{f(\bsl x_i)}{y_i})+\frac{y_i}{f(\bsl x_i)}-1) &,p=2\\2(\frac{\max(y_i,0)^{2-p}}{(1-p)(2-p)}-\frac{y_if(\bsl x_i)^{1-p}}{1-p}+\frac{f(\bsl x_i)^{2-p}}{2-p}) &,其他\\\end{cases}$	深度理解这个偏差是比较困难的，我们只要简单的了解p越大，求和时真实目标和预测目标之间的极端偏差的权重就越小。
pinball	mean_pinball_loss	$pinball=\frac{1}{n}\sum_{i=1}^{n}\alpha\max((y_i-f(\boldsymbol x_i)),0)+(1-\alpha)\max((f(\boldsymbol x_i)-y_i),0)$	可用于构造评分器，再通过交叉验证评估分位数回归模型的泛化性能，见示例
$D^2$ score	略	略	比较难理解，少见，略

可通过sklearn.metrics的Regression metrics（官方说明）调用。

1.1 MSE（西瓜书只介绍了这种）

最常用的评估方法是MSE(mean squared error)，即均方误差：
$MSE=\frac{1}{n}\sum_{i=1}^{n}(f(\boldsymbol x_i)-y_i)^2，n为样本量$
MSE即预测误差的数学期望，是最常用的一个性能度量方法。

1.2 $\boldsymbol {R^2}$

${R^2}$ 叫可决系数(coefficient of determination)，或测定系数、决定系数。
$R^2=1-\frac{\sum_{i=1}^{n}(f(\boldsymbol x_i)-y_i)^2}{\sum_{i=1}^{n}(y_i-\bar y)^2}$
其中， $\bar y =\frac{1}{n} \sum_{i=1}^{n}y_i$ ，即平均真实值。

作用：
【维基百科：】在统计学中用于度量应变数的变异中可由自变量解释部分所占的比例，以此来判断回归模型的解释力。

1.3 MAE

平均绝对误差，MAE（mean absolute error）：
$MSE=\frac{1}{n}\sum_{i=1}^{n}|f(\boldsymbol x_i)-y_i|，n为样本量$

1.4 MSLE

均方对数误差，MSLE（mean_squared_log_error）：
$MSLE=\frac{1}{n}\sum_{i=1}^{n}(log_e(1+f(\boldsymbol x_i))-log_e(1+y_i))^2，n为样本量$

该指标最适合用于具有指数增长的目标，例如人口数量、商品在几年内的平均销售额等。请注意，该指标对低估的估计值比高估的估计值的惩罚更大。

1.5 MAPE

平均绝对百分比误差, MAPE( mean_absolute_percentage_error)：
$MAPE=\frac{1}{n}\sum_{i=1}^{n}\frac{|f(\boldsymbol x_i)-y_i|}{\max(\epsilon,|y_i|)}，n为样本量$
$\epsilon$ 是一个任意小的但严格为正的数，以避免当 y 为零时出现未定义的结果。MSLE会忽略小幅度值，只反映最高幅度值的预测误差。但是这个问题在 MAPE 的情况下得到了解决，因为它计算了相对于实际输出的相对百分比误差。

1.6 MedAE

1.7 MaxError

最大误差, Max Error(max_error)
$Error=\max(|f(\boldsymbol x_i)-y_i|)$
这是一个衡量预测值和真实值之间最坏情况误差的指标

1.8 EVS

解释方差分数,EVS explained_variance_score：
$=1-\frac{Var(y_i-f(\boldsymbol x_i))}{Var(y_i)}$
$E V S$ 和 ${R^2}$ 得分之间的差异： ${R^2}$ 是当 $E V S$ 不考虑预测中的系统偏移时的情况。出于这个原因， ${R^2}$ 通常应该是首选。

1.9 MTDE

平均Tweedie偏差，MTDE(mean_tweedie_deviance)，由超参数p控制：
$\def\bsl{\boldsymbol} MTDE=\frac{1}{n}\sum_{i=-1}^n\begin{cases} (f(\bsl x_i)-y)^2 &,p=0\\ 2(y_i log(\frac{y_i}{f(\bsl x_i)})+f(\bsl x_i)- y_i) &,p=1\\ 2(log(\frac{f(\bsl x_i)}{y_i})+\frac{y_i}{f(\bsl x_i)}-1) &,p=2\\ 2(\frac{\max(y_i,0)^{2-p}}{(1-p)(2-p)}-\frac{y_if(\bsl x_i)^{1-p}}{1-p}+\frac{f(\bsl x_i)^{2-p}}{2-p}) &,其他\\ \end{cases}$

深度理解这个偏差是比较困难的，我们只要简单的了解p越大，求和时真实目标和预测目标之间的极端偏差的权重就越小。

举个例子:

>>> from sklearn.metrics import mean_tweedie_deviance
>>> mean_tweedie_deviance([1.0], [1.5], power=0)
0.25
>>> mean_tweedie_deviance([100.], [150.], power=0)
2500.0

>>> mean_tweedie_deviance([1.0], [1.5], power=1)
0.18...
>>> mean_tweedie_deviance([100.], [150.], power=1)
18.9...

>>> mean_tweedie_deviance([1.0], [1.5], power=2)
0.14...
>>> mean_tweedie_deviance([100.], [150.], power=2)
0.14...

可以看到 $y=1.0,f(\boldsymbol x)=1.5$ 和 $y=100,f(\boldsymbol x)=150$ ，随着p变大，MTDE趋近相同。
所以，从这个角度看，MTDE有点类似MAPE的感觉。

1.10 pinball

弹球损失，pinball loss (mean_pinball_loss):
$pinball=\frac{1}{n}\sum_{i=1}^{n}\alpha\max((y_i-f(\boldsymbol x_i)),0)+(1-\alpha)\max((f(\boldsymbol x_i)-y_i),0)$
$\alpha=0,5$ 时，pinball等于MAE。

可用于构造评分器，再通过交叉验证评估分位数回归模型的泛化性能，见示例。

1.11 $D^2$ score

比较少见，比较难懂，省略。有兴趣自行查看，官方。

2. 分类型任务

2.0 错误率和精度

$error\_rate=\frac{1}{n}\sum_{i=1}^{n}(f(\boldsymbol x_i)\neq y_i时取值1)，n为样本量$
$accuracy\_rate=1-error\_rate=\frac{1}{n}\sum_{i=1}^{n}(f(\boldsymbol x_i)= y_i时取值1)，n为样本量$

2.1 混淆矩阵

首先，针对二分类型的任务，介绍下混淆矩阵(confusion matrix)，因为较多的评估指标，都是基于混淆矩阵设计的。假设二分类类别为1和0，我们将1作为正类（positive）和0作为负类（negative），则所有样本分类的结果有4种，表格如下：

	预测值1	预测值0	合计
真实值1	TP	FN	真实为1的总数：TP+FN
真实值0	FP	TN	真实为0的总数：FP+TN
合计	预测为1的总数：TP+FP	预测为0的总数：FN+TN	总样本数=总预测数=总真实数=TP+FP+FN+TN

注意行列合计的含义。

说明：

TP(True Positive): 真正类。真实为1，预测也为1
FN(False Negative): 假负类。真实为1，预测为0
FP(False Positive): 假正类。真实为0，预测为1
TN(True Negative): 真负类。真实为0，预测也为0

2.2 初阶：precision、recall、sensitivity、specificity、TPR、TNR、FPR、NPV、PPV

	预测值1	预测值0	预测正确的比例
真实值1	TP=20	FN=180	$\color{blue}{recall}$ $(查全率、$ $\color{red}TPR$ $)=\frac{1预测正确数}{真实为1的总数}=\frac{TP}{TP+FN}$
真实值0	FP=10	TN=1820	$specificity(特异度、TNR)=\frac{0预测正确数}{真实为0的总数}=\frac{TN}{FP + TN}$ $\color{red}FPR$ $=\frac{FP}{FP + TN}$
预测正确的比例	$\color{blue}precision$ $(查准率、PPV)=\frac{1预测正确数}{预测为1的总数}=\frac{TP}{TP+FP}$	$NPV=\frac{TN}{FN+TN}$	$\color{red}TPR$ 和 $\color{red}FPR$ 构成 $\color{red}ROC$ 曲线 $\color{blue}precision$ 和 $\color{blue}recall$ 构成 $\color{blue}P\raisebox{0mm}{-}R$ 曲线

注意1：各指标的分子，和前面混淆矩阵合计一样。各值可自行计算看看。
注意2：最重要的是recall和precision，后续计算中分别用 $R$ 和 $P$ 表示。

等价命名和作用：

recall：召回率、查全率、sensitivity( 敏感度)、真正率TPR(True positive rate)=TP/ (TP+ FN)，通常用 $R$ 表示。一般情况下，Recall越高，说明有更多的正类样本被模型预测正确，模型的效果越好。特别的，如果一个系统，更关心真实正样本不被漏掉，则要求查全率更高（如预测对象是否为罪犯的系统）。
precision: 正确率、准确率、查准率，通常用 $P$ 表示，PPV：正预测(Positive predictive value)=TP / (TP + FP)。一般情况下，查准率越高，说明模型的效果越好。特别的，如果一个系统，更关心预测正样本要准确，则要求查准率更高（如预测用户是否喜欢某个推送消息的系统，可减少对用户的打扰）。
specificity: 特异度、真负率TNR(True negative rate)= TN / (FP + TN)
FPR：假正率（FPR，false positive rate） = 1- TNR = FP/(FP+TN)，由于我们比较关心正样本，所以需要查看有多少负样本被错误地预测为正样本，所以使用（1-特异度），而不是特异度。
NPV：负预测(Negative predictive value)=TN / (FN + TN)

性质：

$P$ 和 $R$ 通常会相互矛盾。一个值变大的同时，另一个值往往比较小，只有在一些简单的任务中， $P$ 和 $R$ 才会都比较高。

2.3 中阶1：Accuracy、 $F_1$ -score、 $F_\beta$ -score、macro、micro

一般情况下，这些值越大，说明模型的效果越好。

2.3.1 Accuracy

按章节2.0的定义可知，精度Accuracy为：
$ACC=\frac{预测正确数}{总样本数}=\frac{TP+TN}{TP+FP+FN+TN}$

2.3.2 $F_1$ -score

综合考虑 $P$ 和 $R$ 得到的一个分数：
$F_1=2\frac{P\cdot R}{P+R}$

2.3.3 $F_\beta$ -score

$F_1$ 中 $P$ 和 $R$ 重要性一样，在前面 $P$ 和 $R$ 的介绍中，我们知道不同系统对 $P$ 和 $R$ 的关注度是不同的，这就引申出了 $F_\beta$ -score：
$F_\beta=\frac{(1+\beta^2)P\cdot R}{\beta^2P+R}$
$\beta=1$ 时为 $F_1$ -score。 $\beta\gt 1$ 时查全率 $R$ 有更大影响， $\beta\lt 1$ 时查准率 $P$ 有更大影响。

说明，F值是用到调和平均：
$\frac{1}{F_\beta}=\frac{1}{(1+\beta^2)}(\frac{1}{P}+\frac{\beta^2}{R})$
调和平均更重视较小值。考虑极限情况 $\beta \rightarrow +\infty$ 时， $\frac{1}{F_\beta}$ 只和 $\frac{1}{R}$ 有关， $\beta \rightarrow 0$ 时， $\frac{1}{F_\beta}$ 只和 $\frac{1}{P}$ 有关。

2.3.4 macro、micro

当我们由多个二分类混淆矩阵的时候，可能来自

多次训练/测试
在多个数据集上训练/测试
多分类任务，每两两类别组合都对应一个混淆矩阵

假设一共有n组 ${(P_i,R_i)\}$ ，我们希望估计算法的“全能”性能时，就要用到macro性能：
$\def\dh{\raisebox{0mm}{-}} \begin{cases} macro \dh P=\frac{1}{n}\sum_{i=1}{n}P_i\\ macro \dh R=\frac{1}{n}\sum_{i=1}{n}R_i\\ macro \dh F_1=2\frac{macro \dh P\cdot macro \dh R}{macro \dh P+macro \dh R} \end{cases}$
也可以根据 ${(P_i,R_i)\}$ 先计算各 $TP 、 FP 、 TN 、 FN$ 的平均值 $\overline{TP}、\overline{FP}、\overline{TN}、\overline{FN}$ ，得到micro性能：
$\def\dh{\raisebox{0mm}{-}} \begin{cases} micro \dh P=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}\\ micro \dh R=\frac{1}{n}\sum_{i=1}{n}R_i\\ micro \dh F_1=2\frac{micro \dh P\cdot micro \dh R}{micro \dh P+micro \dh R} \end{cases}$

可类似地定义出 $\raisebox{0mm}{-} F_\beta和 micro \raisebox{0mm}{-} F_\beta$ ，略。

2.4 中阶2：P-R、ROC、AUC、Precision@N、Recall@N

2.4.1 P-R

曲线的画法：二分类问题中，我们一般有个阈值（thredshold，记为 $t h r$ ），当预测概率大于阈值 $t h r$ ，则预测为正，否则预测为负。这样不同的阈值 $t h r$ 都会产生一组 $P_{thr},R_{thr})$ ，把 $t h r$ 从 $100\%$ 以一定的步长降到 $0\%$ ，则可得到一系列 $P_{thr},R_{thr})$ ，就可以画出一条P-R曲线。
曲线画法2：在推荐问题中，通常模型返回的是一组推荐列表，没有一个确定的阈值来把预测结果直接判定为正样本或负样本，而是采用 Top N 排序结果的精确率（Precision@N）和召回率（Recall@N）来衡量排序模型的性能。具体操作，就是认为模型排序的前 N 个结果就是模型判定的正样本，然后分别计算 Precision@N 和 Recall@N。而ROC曲线则可以通过取不同的N画出来。（本质上，不同N对应的也是不同的预测得分阈值，因为返回结果都会按得分从高到底排列。只不过对于不同的用户，返回列表的得分可能差异很大，不合适用一个固定的得分作为阈值，而是用Top N 这样的方法）。