评估指标_常见机器学习评估指标

（这篇文章主要参考了黄言同学的这篇文章，按着自己的理解把文章重写了一遍，删除了一些自己觉得可能不太常用的指标和比较难的公式推导部分，比如决定系数等内容，补充了一些自己想到的小例子。）

机器学习评估指标大致可以分成两类，回归（Regression）算法指标和分类（Classification)算法指标。

回归（Regression）算法指标

常用的回归（Regression）算法指标有平均绝对误差（Mean Absolute Error）、均方误差（Mean Squared Error)和均方根误差（Root Mean Squared Error)三种。

平均绝对误差（Mean Absolute Error)

平均绝对误差（Mean Absolute Error，简称MAE)又被称作L1范数损失，从几何意义上来看，它表示预测值和实际值之间的平均距离。

它的公式如下：

其中，

表示实际的数据值，

表示预测的数据值。

平均绝对误差（Mean Absolute Error）这个评价指标比较直观好理解，但是由于公式里有绝对值，导致了函数不光滑，在某些点上不能求导。作为改进方案，我们可以把绝对值改成平均距离的平方，也就是均方误差（Mean Squared Error)。

均方误差（Mean Squared Error)

均方误差（Mean Squared Error，简称MSE)又被称为L2范数损失，从几何意义上来说，它可以看成预测值和实际值的平均距离的平方.

它的公式如下：

其中，

表示实际的数据值，

表示预测的数据值。

均方误差（Mean Squared Error）解决了平均绝对误差（Mean Absolute Error)不能求导的问题，但是它的大小和目标变量不在一个尺度上（量纲不一样）。为了解决这个问题，我们可以对均方误差（Mean Squared Error）的结果进行开方，于是得到均方根误差（Root Mean Squared Error）。

均方根误差（Root Mean Squared Error）

均方根误差（Root Mean Squared Error, 简称RMSE)是由均方误差（Mean Squared Error)开平方得到的结果， 它解决了均方误差（Mean Squared Error）与目标变量值量纲不一致的问题。

它的公式如下：

分类（Classification)算法指标

常见的分类（Classification）算法指标主要有精度（Accuracy）、准确率和召回率、ROC曲线和AUC空间这几种。

预备知识：混淆矩阵（Confusion Matrix）

混淆矩阵（Confusion Matrix）用矩阵的形式展现了机器学习模型的预测结果。它一般写成下面的形式：

关于混淆矩阵的详细说明，可以参看自己写的这篇回答 :

混淆矩阵是什么意思？ - 晓伟的回答

精度（Accuracy）

精度（Accuracy)表示的是预测正确的样本占总样本的比例。参照上面混淆矩阵的表示，它的公式可以写成下面的样子：

精度（Accuracy）这个指标简单直观，但是有两个不足的地方。

一个是它无法衡量有倾向性的问题。比如机场用X光扫描行李的场景，因为行李中有危险品的后果会比没有危险品的后果严重很多，所以这个时候，精度99%和精度100%的意义也是有很大区别的。

另一个是它无法衡量样本类别数量严重不均衡的情况。如果100个西瓜里有99个好瓜，只有一个坏瓜，那么这个时候我们把所有的西瓜都预测成好瓜，就会得到99%的精度，但这个结果却没有什么实际的意义。

准确率（Precision）和召回率（Recall）

准确率（Precision）又被称作查准率，它表示模型预测结果为正的样本中，预测正确的比例。它的公式如下：

召回率（Recall）又被称作查全率，它表示模型预测结果为正的样本占所有正样本的比例。它的公式如下：

ROC曲线和AUC空间

1. 预备知识：假阳性率（FPR）和真阳性率（TPR）

假阳性率（FPR)表示在所有的负样本中，模型预测结果为正的比例。它的公式如下：

真阳性率（TPR）表示在所有的正样本中，模型预测结果为正的比例，其实也就是召回率（Recall）。它的公式如下：

2. ROC（Receiver Operating Characteristic）曲线

以假阳性率（FPR）为横轴，真阳性率（TPR）为纵轴，描绘出所有的预测点FPR和TPR，则可以得到一个ROC曲线，如下图中的绿线所示。

3. AUC（Area Under Curve）空间

ROC曲线所覆盖的面积就被称为AUC空间（上图中的灰色区域）。

我们可以通过AUC空间的大小来判断模型的预测能力。一般来说，AUC的空间越大，模型的预测能力越好。

AUC = 1 :

• 完美分类器。

0.5 < AUC < 1 :

• 优于随机猜测。

AUC = 0.5 :

• 跟随机猜测（抛硬币）一样。

AUC < 0.5 :

• 比随机猜测的效果还差。但只要每次取预测结果的反面，效果还是比抛硬币要好的。

以上就是常见的机器学习指标。最后附上自己画的思维导图：

机器学习评估指标_思维导图​www.xmind.net

参考资料

1. 黄言：机器学习评估指标