分类模型评估指标以及ROC曲线和PR曲线

分类模型评估指标

分类模型评估是什么

分类模型是机器学习的一种，能够通过学习样本的特征来预测样本的类别。评估分类模型的性能能够帮助我们了解模型的表现如何，以及模型在实际应用中的可能表现。通过使用不同的评估指标，可以从不同的角度理解模型的性能。

分类模型常见的有：准确率(Accuracy)、精确率(Precision/P)、召回率(Recall/R)、F1分数(F1 score)、ROC曲线、真阳性率(True Positive Rate, TPR)、假阳性率(False Positive Rate, FPR)

准确率(Accuracy)

准确率（Accuracy）：正确分类样本数占总样本数的比例。

分母是全部四种数据；分子中第一个字母是 T 表示 "算法预测正确了"。

准确率有一个缺点，就是数据的样本不均衡，这个指标是不能评价模型的性能优劣的。

精确率(Precision/P)

分母中, TP表示 : 算法预测正确 & 预测的是正例，FP表示 : 算法预测错误 & 预测的是正例（实际是负例）

召回率(Recall)

召回率是指分类正确的正样本个数占真正的正样本个数的比例。召回率也是对部分样本的统计量，侧重对真实的正类样本的统计。它被定义为：

F1分数(F1 score)

F1分数是精确率和召回率的调和平均值，用于综合考虑分类器的性能。

        F1分数 = 2 * (精确率 * 召回率) / (精确率 + 召回率)

ROC曲线

接收者操作特征曲线（Receiver Operating Characteristic Curve），通过改变决策阈值，以真阳性率（TPR）为纵坐标，假阳性率（FPR）为横坐标绘制的曲线。ROC曲线越靠近左上角（0,1）点，模型性能越好。

PR曲线

精确率-召回率曲线，纵坐标为精确率，横坐标为召回率。在类别不平衡时，尤其是正例较少的情况，PR曲线能更准确地反映出模型性能。

KNN算法对不同K值下的ROC曲线的分析：

数据集准备

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import precision_recall_curve, roc_curve, auc
 
# 生成数据集
X, y = make_classification(n_samples=1000, n_classes=2, n_features=10, random_state=42)
 
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

KNN分类器并训练并绘制ROC曲线：

# 定义KNN分类器
knn = KNeighborsClassifier(n_neighbors=2)
 
# 训练模型
knn.fit(X_train, y_train)
 
# 预测测试集
y_pred = knn.predict(X_test)
 
# 计算PR曲线和ROC曲线
precision, recall, _ = precision_recall_curve(y_test, y_pred)
fpr, tpr, _ = roc_curve(y_test, y_pred)
roc_auc = auc(fpr, tpr)
 
 
# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='red', lw=2, label='ROC Curve (AUC = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')
plt.show()

不同K值的分析

K=1：

K=3：

K=5：

 

   较小的k值可能导致模型过拟合局部数据结构，而较大的k值可能会导致模型趋于保守和平滑。因此，在实际应用中，选择合适的k值对于优化模型性能至关重要。通过绘制ROC曲线，可以直观地看出这种影响，并据此选择一个在特定任务下具有最佳整体性能的k值。