ROC曲线与PR曲线及其在不同k值下的分析

最新推荐文章于 2024-09-28 14:02:07 发布

MASHU77

最新推荐文章于 2024-09-28 14:02:07 发布

阅读量696

点赞数 15

文章标签： python 机器学习

本文链接：https://blog.csdn.net/MASHU77/article/details/137792646

版权

本文详细介绍了机器学习中常用的分类模型评估指标，如准确率、精确率、召回率和F1值，并重点讲解了ROC曲线和PR曲线的概念及其在不平衡数据集中的优势。通过Python示例展示了如何使用KNN算法绘制不同k值下的ROC曲线，以优化模型性能。

摘要由CSDN通过智能技术生成

简介

在机器学习中，评估分类模型的性能是至关重要的一环。了解和熟练运用分类模型评估指标能够帮助我们更好地理解模型的表现，并作出有效的改进。本文将深入探讨常见的分类模型评估指标，介绍ROC曲线和PR曲线，并通过Python代码实现不同k值下的ROC曲线，最后对结果进行分析。

常见的分类模型评估指标

常见的分类模型评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1值（F1-score）等。它们的计算公式如下：

准确率（Accuracy）：

$\frac{TP+TN}{TP+TN+FP+FN}$

精确率（Precision）：

$\frac{TP}{TP+FP}$

召回率（Recall）：

$\frac{TP}{TP+FN}$

F1值（F1-score）：

$2\times \frac{Precision\times Recall}{Precision+Recall}$

其中，TP表示真正例（True Positive）、TN表示真负例（True Negative）、FP表示假正例（False Positive）、FN表示假负例（False Negative）。

ROC曲线与PR曲线以及AUC

ROC曲线（Receiver Operating Characteristic Curve）以假正例率（False Positive Rate, FPR）为横坐标，真正例率（True Positive Rate, TPR）为纵坐标，展示了在不同阈值下模型的性能。而PR曲线（Precision-Recall Curve）以召回率（Recall）为横坐标，精确率（Precision）为纵坐标，更适用于不平衡数据集。
AUC（Area Under the ROC Curve）是ROC曲线下方的面积，用于衡量二分类模型的性能。ROC曲线是以假正例率（False Positive Rate, FPR）为横坐标，真正例率（True Positive Rate, TPR）为纵坐标绘制的曲线。而AUC则表示ROC曲线下的面积大小。

ROC曲线和PR曲线的主要差异在于对正负样本比例敏感程度。在正负样本比例差异较大的情况下，PR曲线更能准确地反映模型的性能。AUC越接近1，模型的性能越好。AUC是评价分类模型性能的重要指标之一，尤其在不平衡数据集中，它更具有代表性，因为它不受类别分布不均衡的影响。

代码实现

我们将使用K最近邻（KNN）算法来进行分类，并绘制不同k值下的ROC曲线，并进行分析。

首先，让我们导入必要的库并生成样本数据。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import roc_curve, auc

# 生成样本数据
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

接下来，我们定义一个函数来计算给定K值的ROC曲线，并绘制它们。

def plot_roc_for_k(k_values, X_train, y_train, X_test, y_test):
    plt.figure(figsize=(10, 8))
    for k in k_values:
        # 训练KNN模型
        knn = KNeighborsClassifier(n_neighbors=k)
        knn.fit(X_train, y_train)
        
        # 获取预测概率
        y_scores = knn.predict_proba(X_test)[:, 1]
        
        # 计算ROC曲线
        fpr, tpr, _ = roc_curve(y_test, y_scores, pos_label=1)
        roc_auc = auc(fpr, tpr)
        
        # 绘制ROC曲线
        plt.plot(fpr, tpr, label=f'k={k}, AUC={roc_auc:.2f}')

    # 绘制随机猜测的曲线
    plt.plot([0, 1], [0, 1], linestyle='--', color='r', label='Random Guess')
    
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('ROC Curve for Different k Values (KNN)')
    plt.legend()
    plt.grid(True)
    plt.show()

# 定义不同的k值
k_values = [1, 3, 5, 7, 9]

# 绘制ROC曲线并进行分析
plot_roc_for_k(k_values, X_train, y_train, X_test, y_test)