分类的评价指标

精度，召回率，ROC曲线和F1得分概述

介绍

知道模型的准确性是必要的，但仅仅了解模型的性能水平还不够。因此，还有其他评估指标可帮助我们更好地了解模型的性能。其中一些指标是精度，召回率，ROC曲线和F1得分。

显然，当我们选择一个指标时，我们必须牢记机器学习应用程序的最终目标。因此，我们需要了解整个决策过程才能建立一个好的模型。

在本文中，我们将看到所有这些主题以及python应用程序。

所以，让我们开始吧！

第一部分：精确度和召回率

在谈论精度和召回率之前，让我简要介绍一下什么是混淆矩阵。

混淆矩阵是表示评估二进制分类结果的最全面方法。下面是一个混淆矩阵的示例。

如上所示，可以将值分为TN（真负），TP（真正）或FN（假负），FP（假正）。

• TP：预测为正，实际值也为正

• FP：预测为正，但实际值为负

• TN：预测为负且实际值也为负

• FN：预测为负，但实际值为正

总而言之，您可以系统地理解，当某个值在特定类别中错误分类时，结果将为FN或FP。相反，当分类正确时，我们将使用TN或TP。

从这个角度来看，我们可以轻松计算出由以下比率给出的精度：

因此，通过考虑所有不同的结果，我们可以说准确性是真实结果的比例。

关于精度，我们想知道正确分类为正数的预测值的比例。因此：

当我们要确定预测值时，精度非常有用，因为它可以告诉我们预测为正的值中有多少实际上是正值。

回想率是另一个非常有用的度量标准，它使我们能够知道例如正确分类为正数的值在实际为正的总值中所占的比例。

第二部分：接收器工作特性（ROC）

现在，假设您要比较误报率（FPR）和真报率（TPR）。

TPR是我们之前看到的Recall。因此公式将是：

而是，FPR由以下比率给出：

因此，要比较FRP和TPR，我们可以简单地使用ROC曲线。

对于ROC曲线，理想曲线靠近左上方。目标是获得一个在FPR较低的情况下产生较高TPR（召回率）的模型。

但是，如果要使用单个数字来汇总ROC曲线，则可以计算曲线下的面积（AUC）。下面是ROC曲线及其面积的表示。

第三部分：F1得分

全面了解精度和召回率的一种好方法是使用F1得分。F1分数为我们提供了精确度和查全率的调和平均值。在下面我们可以看到公式。

重要的是要知道，当我们使用不平衡的二进制分类数据集时，F1分数比准确度更好。

无论如何，我们可以从sklean指标中导入分类报告，该报告为我们提供了F1得分以及所有指标，例如精度和召回率。

结论

在分类问题中，这些是最常用于评估模型性能的指标。因此，每次必须建立分类模型时，最好使用本文中介绍的指标来评估模型的性能。