机器学习模型评估（性能度量）——KNN模型的PR和ROC曲线绘制

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

模型评估是对训练好的模型性能进行评估, 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。
机器学习的任务有回归,分类和聚类，针对不同的任务有不同的评价指标。按照数据集的目标值不同，可以把模型评估分为分类模型评估和回归模型评估。

这篇文章要讲的就是分类模型———KNN模型

一、模型评估的性能度量

1.混淆矩阵

混淆矩阵（Confusion Matrix）是用于衡量分类模型预测性能的一种常见工具。它是一个2x2的矩阵，用于统计模型在二分类问题中的分类结果。混淆矩阵包含四个指标：真正例（True Positive, TP）、真负例（True Negative, TN）、假正例（False Positive, FP）、假负例（False Negative, FN），它们表示模型在预测中的不同情况。

TP表示模型正确预测为正例的样本数
FN表示模型将正例错误预测为负例的样本数
FP表示模型将负例错误预测为正例的样本数
TN表示模型正确预测为负例的样本数。

由混淆矩阵我们可以求得准确率，精确率等性能度量

2.准确率（Accuracy）：分类正确的样本数占总样本数的比例。

确率（Accuracy）是指分类模型对所有样本进行分类的正确率，即分类正确的样本数除以总样本数。准确率是最常用的模型评估指标之一，它可以告诉我们模型在对数据进行分类时的整体表现。

准确率的计算公式为：

Accuracy = （TP + TN）/（TP + TN + FP + FN）

有时，准确率可能并不能反映模型的真实性能，尤其是在数据不平衡的情况下。在这种情况下，模型可能会有很高的准确率，但是对于少数类别的样本预测效果较差。因此，要全面评估模型的性能，我们需要考虑其他指标，例如精确率、召回率和F1值等。

2.精确率（Precision）：在被预测为正例的样本中，真正例的比例。

精确率（Precision）是指在所有被模型预测为正例的样本中，真正例的比例。精确率衡量了模型预测为正例的样本中有多少是真正的正例，是评估模型预测结果质量的重要指标之一。

精确率的计算公式为：

Precision = TP/(TP+FP)

精确率越高，说明模型在预测正例时更加准确，假阳性的数量较少。然而，需要注意的是，精确率高并不意味着模型的整体性能就很好，因为它没有考虑到模型可能漏掉的真正例（假阴性）。因此，精确率通常与召回率等指标一起使用，以全面评估模型的性能。

3.召回率（Recall）：在所有实际正例样本中，被正确预测为正例的比例

召回率（Recall）是指在所有实际为正例的样本中，被模型预测正确为正例的比例。它衡量了模型能够正确预测出正例样本的能力，是评估分类模型性能的重要指标之一。

召回率的计算公式为：
Recall = (TP）/（TP + FN)

召回率越高，说明模型在识别出实际为正例的样本时表现得越好，假反例的数量较少。但与精确率类似，高召回率并不一定代表模型整体性能良好，因为它没有考虑到模型可能会将负例错误地预测为正例。
在实际应用中，召回率通常与精确率一起使用，以全面评估模型的性能。较高的召回率和精确率通常意味着模型在识别出正例的同时，尽量避免了将负例误判为正例和漏掉真正的正例，达到了更好的平衡。

4.F1值：精确率和召回率的调和平均数。

F1值是精确率和召回率的调和平均数，用于综合评估分类模型的性能。它是精确率和召回率之间的一种权衡指标，能够考虑到两者的平衡情况。

F1值的计算公式为：

2/F1 = 1/Precision + 1/Recall

F1值的取值范围为0到1，其中1表示最佳性能，0表示最差性能。当模型的精确率和召回率同时较高时，F1值也会相应较高。但是，精确率和召回率在某些情况下可能存在一种折衷关系：提高精确率可能会导致召回率下降，反之亦然。因此，F1值可以帮助我们在精确率和召回率之间取得一个平衡。

5.ROC曲线（Receiver Operating Characteristic curve）：

ROC曲线使用的指标是真正率(True positive rate, TPR)与假正率 (False positive rate, FPR),其横坐标为FPR， 纵坐标为TPR.

ROC曲线的特点是：随着阈值的不断降低，TPR和FPR会不断增加。随着分类器性能的提高，ROC曲线会不断靠近左上角，AUC（ROC曲线下方面积）也会越来越接近1。因此，通过观察ROC曲线，我们可以了解分类器在不同阈值下的性能表现，而AUC可以作为一个综合性能指标来评估模型的性能优劣。

AUC就是衡量学习器优劣的一种性能指标。从定义可知，AUC可通过对ROC曲线下各部分的面积求和而得。
AUC值越接近1，说明模型的性能越好；而AUC值越接近0.5，则说明模型的性能越差，甚至可能是一个随机猜测的模型。

6.PR曲线：

PR曲线（Precision-Recall curve）是一种二分类模型的评估工具，它以精确率（Precision）为纵轴，召回率（Recall）为横轴，描述了模型在不同阈值下的分类性能。

PR曲线下的面积（AP，Average Precision）是PR曲线的一个重要性能指标，通常用来评估模型的整体性能。与AUC类似，AP也是一个取值在0到1之间的指标，其数值越大表示模型的性能越好。在分类器评估中，有时我们更关心模型在稀有类别样本上的表现，此时，AP是一个比准确率和AUC更加准确的判断标准。

二、KNN模型PR和ROC曲线绘制

1.引入库

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import roc_curve, auc
from sklearn.metrics import precision_recall_curve, average_precision_score

make_classification函数用于生成模拟的二分类数据集，包括特征和标签。
train_test_split函数用于将数据集划分为训练集和测试集。
KNeighborsClassifier用于实现K近邻分类器。
roc_curve函数用于计算 Receiver Operating Characteristic (ROC) 曲线，用于评估分类器的性能。
auc函数用于计算ROC曲线的 Area Under Curve (AUC)。
precision_recall_curve函数用于计算 precision-recall 曲线，用于评估分类器的性能。average_precision_score函数用于计算平均precision，用于评估分类器的性能。

2.生成样本数据

X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)
#make_classification 函数会返回两个变量：X 和 y。其中，X 是一个 m x n 的二维数组，其中 m 为样本数量，n 为特征数量。y 是一个长度为 m 的向量，表示每个样本的类别标签。

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
#使用train_test_split函数根据指定的test_size参数将数据集X和标签集y分离成训练集和测试集。test_size参数表示测试集的比例，默认值为0.2，表示随机选择20%的数据作为测试集。
#使用random_state参数设置随机数种子，以保证每次运行train_test_split时生成的训练集和测试集是相同的，这样便于比较模型在相同的数据集上的性能。

# 不同的K值
k_values = [1, 5, 10]

使用Python的scikit-learn库中的make_classification函数来生成一个样本数量为100，每个样本特征为20，二分类的分类数据集。

3.KNN模型训练、预测及ROC曲线绘制

调用sklearn库中自带的KNN函数初始化模型，并用数据集进行训练。

# 绘制ROC曲线
plt.figure(figsize=(10, 8))

for k in k_values:
    # 创建并训练KNN分类器
    knn = KNeighborsClassifier(n_neighbors=k)
    knn.fit(X_train, y_train)
    
    # 获取测试集上的预测概率
    y_score = knn.predict_proba(X_test)[:, 1]
    
    # 计算FPR和TPR
    fpr, tpr, _ = roc_curve(y_test, y_score)
    
    # 计算AUC
    roc_auc = auc(fpr, tpr)
    # 绘制ROC曲线
    plt.plot(fpr, tpr, label='K = %d (AUC = %0.2f)' % (k, roc_auc))

使用predict_proba方法获取测试集样本的预测概率，并提取出正类的概率值。

使用predict方法获取测试集样本的预测值。

ROC曲线绘制绘制效果

4.KNN模型训练、预测及PR曲线绘制

plt.figure(figsize=(10, 8))
# 绘制PR曲线
for k in k_values:
    # 创建并训练KNN分类器
    knn = KNeighborsClassifier(n_neighbors=k)#n_neighbors=k  -->  控制分类器参数
    knn.fit(X_train, y_train)
    
    # 获取测试集上的预测概率
    y_score = knn.predict_proba(X_test)[:, 1]
    
    # 计算精确率和召回率
    precision, recall, _ = precision_recall_curve(y_test, y_score)
    
    # 计算平均准确率
    average_precision = average_precision_score(y_test, y_score)
    
    # 绘制PR曲线
    plt.plot(recall, precision, label='K = %d (平均准确率(Avg Precision) = %0.2f)' % (k, average_precision))
# 设置图形属性

使用roc_curve函数计算了在排序后的标签和预测概率上的假正例率（False Positive Rate）和真正例率（True Positive Rate）。然后，使用auc函数计算了ROC曲线下面积（AUC）。最后，使用matplotlib库绘制了ROC曲线图，并添加了对角线作为参考线。

PR曲线绘制绘制效果：

5.全部代码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import roc_curve, auc
from sklearn.metrics import precision_recall_curve, average_precision_score

plt.rcParams["font.family"] = ["SimHei"]  # 确保图中中文字体正确显示
plt.rcParams['axes.unicode_minus'] = False  # 解决保存图像时负号'-'显示为方块的问题

# 生成样本数据
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 不同的K值
k_values = [1, 5, 10]
# 绘制ROC曲线
plt.figure(figsize=(10, 8))

for k in k_values:
    # 创建并训练KNN分类器
    knn = KNeighborsClassifier(n_neighbors=k)
    knn.fit(X_train, y_train)
    
    # 获取测试集上的预测概率
    y_score = knn.predict_proba(X_test)[:, 1]
    
    # 计算FPR和TPR
    fpr, tpr, _ = roc_curve(y_test, y_score)
    
    # 计算AUC
    roc_auc = auc(fpr, tpr)
    # 绘制ROC曲线
    plt.plot(fpr, tpr, label='K = %d (AUC = %0.2f)' % (k, roc_auc))
    
# 绘制随机分类器的对角线
plt.plot([0, 1], [0, 1], color='navy', linestyle='--')
# 设置图形属性
plt.xlim([0.0, 1.0])#x的范围
plt.ylim([0.0, 1.05])#y的范围
plt.xlabel('假正例')
plt.ylabel('真正例')
plt.title('ROC曲线')
plt.legend(loc="lower right")
plt.grid(True)#
plt.show()



plt.figure(figsize=(10, 8))
# 绘制PR曲线
for k in k_values:
    # 创建并训练KNN分类器
    knn = KNeighborsClassifier(n_neighbors=k)#n_neighbors=k  -->  控制分类器参数
    knn.fit(X_train, y_train)
    
    # 获取测试集上的预测概率
    y_score = knn.predict_proba(X_test)[:, 1]
    
    # 计算精确率和召回率
    precision, recall, _ = precision_recall_curve(y_test, y_score)
    
    # 计算平均准确率
    average_precision = average_precision_score(y_test, y_score)
    
    # 绘制PR曲线
    plt.plot(recall, precision, label='K = %d (平均准确率(Avg Precision) = %0.2f)' % (k, average_precision))
# 设置图形属性


plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('召回率')
plt.ylabel('精确率')
plt.title('PR曲线')
plt.legend(loc="lower right")#创建图例并放到右下角
plt.grid(True)

plt.show()

总结

常见分类模型评估指标：

准确率（Accuracy）：模型预测正确的样本数占总样本数的比例。
精确率（Precision）：被模型预测正类的样本中真正为正类的比例。
召回率（Recall）：正类样本被模型预测为正类的比例。
F1值：精确率和召回率的调和平均值。
ROC曲线和PR曲线：

ROC曲线描述了不同阈值下的假阳性率（FPR）和真阳性率（TPR）之间的关系。
PR曲线描述了不同阈值下的召回率（Recall）和精确率（Precision）之间的关系。适用于负样本不平衡的情况。
绘制不同K值下的ROC曲线：

在KNN算法中，K值的选择对模型性能有较大影响。
可以通过训练不同K值的KNN模型，绘制其在测试集上的ROC曲线，并比较各个K值下的ROC曲线面积（AUC）大小。
通过分析不同K值下的ROC曲线可以选择合适K值以获得最佳模型性能。
通过实验的学习，我们掌握了分类模型的评估方法和ROC曲线、PR曲线的应用，以及如何利用不同K值绘制和比较KNN模型的ROC曲线。些知识对于深入理解和评价机器学习模型的性能至关重要。