在一个训练集上多种算法的优劣评估方法（详细解释，通俗易懂）

本文链接：https://blog.csdn.net/qq_64411728/article/details/139560364

在我们的实际应用中，我们拿到一个数据集去训练机器学习模型，如果说针对一个数据集有三个训练模型，那我们该如何评估这三个模型的到底谁优谁劣呢？本文就给大家分享几种方法~

P-R曲线

我们看下图：

如图所示，这是在一个训练集上的A，B，C三个模型的查全率和查准率的一个关系图，先说结论，B是优于C的，为什么呢？假如说我现在取查全率的值为0.6，那很显然B的查准率更高一点，所以B的模型优于C，也可以这么看，因为(1)B和坐标轴围成的面积比C大，所以B优于C。但是A和B的曲线有交叉点的，用整体的面积比较无法判断谁优谁劣，这个时候我们就可以用其他方法判断。(2)F1和(3)加权F1是一个不错的选择，在相同的阈值下，一般来说，F1和加权F1值大的模型更优。这是为什么呢？我们上一篇文章中分享了，因为F1和加权F1大说明查全率和查准率都表现的比较好。

ROC和AUC

在说ROC和AUC之前我们先得了解两个定义，先看下表

我们定义：

$TPR=\frac{TP}{TP+FP}$

$FPR=\frac{FP}{FP+TN}$

其中，TPR为真正例率，FPR为假正例率，其实也很好理解嘛，就是在我机器学习的预测的正例中，真正例占实际正例的比例，假正例占实际反例的比例。我们来看一下它俩的关系图：

在图中我们可以看到，真正例率和假正例率呈现了一种正向关系，这是为啥呢？其实我们细想一下，当我们的阈值设置的比较宽松的时候，那机器学习的预测结果肯定正例的比例会上升，而正例里面又包含真正例和假正例，这俩的比例肯定也在同时上升，所以才有了真正例率和假正例率是一种正向的关系，那我们如果判断哪个模型更优呢？我们看下图：

为了更直观的表示，我们把坐标轴代表的含义换一下位置，我们看图，里面包含了A，B两个模型，我们说，B是优于A的，因为在同样的真正例率下，B的假正例率是低于A的。

我们换一个角度看，是不是也可以比较面积来看呀？看下图

我们可以看到，B围成的面积明显大于A围成的，但是只用图来看并不能算出具体的数值，我们来看看AUC的数学公式：

$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_{i})(y_{i+1}+y_{i})$

这个公式是个啥东西，怎么这么复杂？哎其实也很好理解啦~你看，我们图中的点都是由一个坐标一个坐标连起来画成的曲线，你看这个公式，是不是两点之间求一个面积再加起来，这个面积求的是梯形的面积，你看是不是就是梯形的上底加下底乘以高再除以2，典型的梯形面积公式。然后就估算出了围成的面积。有了这个公式，我们在比较模型的优劣的时候就不用画图就能看出来啦。

当然在实际中，其实我们看到的大多数是这种曲线：