分类模型评估

YT.865

于 2024-04-16 13:38:52 发布

阅读量497

点赞数 9

文章标签：分类人工智能机器学习

本文链接：https://blog.csdn.net/weixin_74100286/article/details/137821010

版权

在机器学习实践中，选择合适的分类模型以及调整模型的参数对于获得最佳性能至关重要。本次实验将深入探讨常见的分类模型评估指标、ROC曲线与PR曲线的差异，并通过代码实现绘制不同k值下的ROC曲线，进而对结果进行分析。

一、常见的分类模型评估指标

分类模型的评估指标是评估模型性能的关键。常见的评估指标包括准确率、精确率、召回率和F1分数。这些指标的计算依赖于混淆矩阵，它记录了模型预测结果的统计信息。

混淆矩阵：它是评估分类模型的基础，包括真例(TP)、假正例(FP)、真反例(TN)和假例(FN)。
准确率：所有预测正确的样本占总样本的比例。accuracy = (TP+TN)/(TP+FP+FN+TN)
精确率：预测为正例的样本中真正为正例的比例。precision = TP/(TP+FP)
召回率：实际为正例的样本中被预测为正例的比例。recall =TP/(TP+FP)
F1分数：精确率和召回率的调和平均值，用于综合评估模型性能。F1 = 2*precision*recall/(precision+recall)

二、ROC曲线与PR曲线的差异

ROC曲线和PR曲线是两种重要的分类模型性能评估工具，它们在展现模型性能方面有所不同。

ROC曲线（Receiver Operating Characteristic Curve）以假正例率（FPR）为横轴，真正例率（TPR，即召回率）为纵轴，用于展示模型在不同分类阈值下的性能。AUC-ROC（Area Under the Curve）是ROC曲线下的面积，其值越接近1，模型性能越好。

PR曲线（Precision-Recall Curve）以精确率为纵轴，召回率为横轴，用于展示模型在精确性和召回率之间的权衡。在某些应用中，如疾病检测或垃圾邮件过滤，精确率或召回率可能更为重要，此时PR曲线更为有用。

三、实验过程与结果分析

本次实验以K-近邻（K-NN）算法为例，通过调整k值来观察模型性能的变化，并绘制不同k值下的ROC曲线。

首先，导入所需的库并加载数据集：


import numpy as np  
import matplotlib.pyplot as plt  
from sklearn import datasets  
from sklearn.model_selection import train_test_split  
from sklearn.preprocessing import StandardScaler  
from sklearn.neighbors import KNeighborsClassifier  
from sklearn.metrics import roc_curve, auc, precision_recall_curve, plot_roc_curve, plot_precision_recall_curve

接着，准备数据并划分训练集和测试集：

# 加载数据集，这里以鸢尾花数据集为例  
iris = datasets.load_iris()  
X = iris.data  
y = iris.target  
  
# 数据标准化  
scaler = StandardScaler()  
X = scaler.fit_transform(X)  
  
# 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

然后，训练K-NN模型并计算ROC曲线相关指标：

# 定义k值列表  
k_values = [1, 3, 5, 7]  
  
# 存储AUC值  
aucs = []  
  
# 绘制不同k值下的ROC曲线  
plt.figure(figsize=(10, 8))  
for k in k_values:  
    # 训练K-NN模型  
    knn = KNeighborsClassifier(n_neighbors=k)  
    knn.fit(X_train, y_train)  
      
    # 预测概率  
    y_score = knn.predict_proba(X_test)[:, 1]  
      
    # 计算ROC曲线的真正例率和假正例率  
    fpr, tpr, thresholds = roc_curve(y_test, y_score)  
      
    # 计算AUC值  
    roc_auc = auc(fpr, tpr)  
    aucs.append(roc_auc)  
      
    # 绘制当前k值的ROC曲线  
    plt.plot(fpr, tpr, label=f'k={k}, AUC={roc_auc:.2f}')  
  
# 设置图例和标题  
plt.title('ROC Curve for Different k-values')  
plt.legend(loc='lower right')  
plt.plot([0, 1], [0, 1], 'r--')  
plt.xlim([0.0, 1.0])  
plt.ylim([0.0, 1.05])  
plt.xlabel('False Positive Rate')  
plt.ylabel('True Positive Rate')  
plt.show()

最后，分析不同k值下的ROC曲线和AUC值：

从绘制的ROC曲线图中，我们可以观察到不同k值对K-NN模型性能的影响。随着k值的增加，模型的复杂度逐渐降低，过拟合的风险也随之减少。在k值较小时，模型可能过于复杂，容易对训练数据产生过拟合，导致在测试集上的性能不佳，这反映在ROC曲线上可能比较靠近坐标轴对角线。随着k值的增大，ROC曲线逐渐上移，表明模型的性能在逐渐提升。然而，当k值过大时，模型可能变得过于简单，无法充分学习数据的特征，这可能导致ROC曲线又开始下降。

AUC值是一个量化的指标，它表示ROC曲线下的面积，AUC值越接近1，说明模型的性能越好。从实验结果中我们可以看到，不同k值下的AUC值有所差异，我们可以选择AUC值最大的k值作为最佳参数。

除了ROC曲线和AUC值，我们还可以进一步计算并绘制PR曲线来评估模型在精确性和召回率之间的权衡。PR曲线对于某些应用场景可能更为重要，特别是当精确性或召回率成为关键指标时。