分类模型评估指标以及ROC曲线和PR曲线

Delairs

于 2024-04-16 16:58:28 发布

阅读量864

点赞数 13

文章标签：分类机器学习人工智能

本文链接：https://blog.csdn.net/Delairs/article/details/137829601

版权

分类模型评估指标

在机器学习中，对于分类模型的评估是一个复杂而重要的环节。选择合适的评估指标可以帮助我们更好地理解模型的性能，并为模型的选择和优化提供依据。以下是一些常见的分类模型评估指标的详细介绍：

1. 准确率 (Accuracy)

准确率是最直观的评估指标，它表示模型正确预测的样本数占总样本数的比例。计算公式为：

$Accuracy = \frac{correct}{n}$

*correct: 正确预测的样本数 n: 总样本数*

虽然准确率易于理解和计算，但它并不总是最可靠的指标，特别是在类别不平衡的情况下。例如，如果一个数据集中有95%的样本属于类别A，而模型只是简单地将所有样本都预测为类别A，那么准确率也会很高，尽管模型实际上并没有学到有用的信息。

2. 精确率 (Precision)

精确率关注于模型预测为正类的样本中，实际为正类的比例。它是一个更细致的指标，特别是在正类样本较少的情况下。计算公式为：

$Precision = \frac{TP}{TP+ FP}$

*TP: 真比例 FP: 假比例*

高精确率意味着模型在预测正类时很少出错。

3. 召回率 (Recall) 或灵敏度 (Sensitivity)

召回率衡量的是所有实际正类样本中，被模型正确识别出来的比例。它对于评估模型捕捉正类样本的能力非常重要。计算公式为：

$Recall = \frac{TP}{TP+ FP}$

*TP: 真比例 FP: 假比例*

召回率越高，说明模型遗漏的正类样本越少。

4. F1分数 (F1 Score)

F1分数是精确率和召回率的调和平均值，它试图在这两个指标之间取得平衡。F1分数的计算公式为：

$F1 Score=2\tfrac{Precision\cdot ×Recall}{Precision+Recall}$

F1分数对于那些不平衡的类别（如正类样本较少）特别有用，因为它同时考虑了精确率和召回率。

5. ROC曲线和AUC

ROC曲线和AUC是评估二分类模型性能的两个重要指标。

ROC曲线: ROC曲线通过绘制不同阈值下的真正类率（TPR，即召回率）和假正类率（FPR）之间的关系，展示了模型在所有分类阈值下的性能。FPR定义为误判为正类的负类样本比例。

$TRP = \frac{TP}{TP+FN}$

$FPR = \frac{FP}{FP+TN}$

AUC: AUC，即ROC曲线下的面积，提供了一个量化模型整体性能的指标。AUC的值介于0和1之间，值越大，模型的性能越好。AUC的优点是它不依赖于特定的分类阈值，并且当测试集中正负样本的分布变化时，AUC能够提供一个稳定的性能度量。

6. 混淆矩阵 (Confusion Matrix)

混淆矩阵是一个表格，用于描述模型预测和实际标签之间的关系。它包含了四个部分：真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）。混淆矩阵可以帮助我们更全面地理解模型的性能，包括模型的精确率、召回率以及各种类型的预测错误。

	真实正例	真实负例
预测正例	TP	FP
预测负例	FN	TN

ROC曲线和PR曲线

ROC（Receiver Operating Characteristic）曲线和PR（Precision-Recall）曲线都是评估分类模型性能的工具，尤其是在二分类问题中。它们各自从不同的角度展示了模型的性能。

ROC曲线

ROC曲线是一种图形化的评估工具，它通过绘制不同阈值下的真正类率（True Positive Rate, TPR）和假正类率（False Positive Rate, FPR）之间的关系，来展示模型在所有分类阈值下的性能。

真正类率 (TPR): 也称为召回率（Recall），是模型正确识别正类样本的比例，计算公式为： TPR=TP（真正例）TP（真正例）+FN（假负例）TPR=TP（真正例）+FN（假负例）TP（真正例）
假正类率 (FPR): 是模型错误地将负类样本识别为正类样本的比例，计算公式为： FPR=FP（假正例）FP（假正例）+TN（真负例）FPR=FP（假正例）+TN（真负例）FP（假正例）

ROC曲线的x轴通常是FPR，y轴是TPR。理想情况下，模型的ROC曲线会尽可能地靠近左上角，这意味着模型在保持低FPR的同时，有很高的TPR。

AUC (Area Under the Curve)

AUC是ROC曲线下的面积，它提供了一个量化模型整体性能的指标。AUC的值介于0和1之间，值越大，模型的性能越好。AUC的优点是它不依赖于特定的分类阈值，并且当测试集中正负样本的分布变化时，AUC能够提供一个稳定的性能度量。AUC值为0.5通常表示模型没有区分能力，等同于随机猜测。

PR曲线

PR曲线是另一个图形化的评估工具，它通过绘制模型的精确率（Precision）和召回率（Recall）之间的关系，来展示模型的性能。

精确率 (Precision): 是模型预测为正类样本中，实际为正类的比例，计算公式为： $Precision=\frac{TP}{TP+FN}$
召回率 (Recall): 也称为TPR，是模型正确识别的正类样本占所有实际正类样本的比例，计算公式同上。

PR曲线的x轴通常是召回率，y轴是精确率。与ROC曲线不同，PR曲线更关注于正类样本的预测性能，特别是当正类样本较少时。理想情况下，模型的PR曲线会尽可能地靠近右上角，这意味着模型在保持高精确率的同时，有很高的召回率。

曲线比较

ROC曲线: 适用于二分类问题，特别是当测试集中正负样本的分布变化时，ROC曲线和AUC能够提供一个稳定的性能度量。ROC曲线对于评估模型的整体性能很有帮助，但它可能不会对正类样本较少的情况给出太多信息。
PR曲线: 特别适用于正类样本较少的情况，因为它同时考虑了精确率和召回率。PR曲线对于评估模型在特定阈值下的性能非常有用，尤其是在需要关注正类预测性能的情况下。

在实际应用中，根据问题的具体需求和数据集的特性，可以选择ROC曲线、PR曲线或两者结合来评估模型的性能。

ROC曲线分析使用逻辑回归的分类器

代码实现:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_curve, auc, RocCurveDisplay


# 创建一个二分类数据集
X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10, n_clusters_per_class=1, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建逻辑回归分类器实例
logistic_classifier = LogisticRegression()

# 训练模型
logistic_classifier.fit(X_train, y_train)

# 进行预测，获取预测概率
y_scores = logistic_classifier.predict_proba(X_test)[:, 1]

# 计算ROC曲线
fpr, tpr, thresholds = roc_curve(y_test, y_scores)

# 计算AUC值
roc_auc = auc(fpr, tpr)

# 绘制ROC曲线
RocCurveDisplay.from_estimator(logistic_classifier, X_test, y_test, label='ROC curve (area = {:.2f})'.format(roc_auc))

# 显示图形

plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')

plt.show()

*可以在命令行中使用