分类模型评估指标
分类模型评估是什么
分类模型是机器学习的一种,能够通过学习样本的特征来预测样本的类别。评估分类模型的性能能够帮助我们了解模型的表现如何,以及模型在实际应用中的可能表现。通过使用不同的评估指标,可以从不同的角度理解模型的性能。
分类模型常见的有:准确率(Accuracy)、精确率(Precision/P)、召回率(Recall/R)、F1分数(F1 score)、ROC曲线、真阳性率(True Positive Rate, TPR)、假阳性率(False Positive Rate, FPR)
准确率(Accuracy)
准确率(Accuracy):正确分类样本数占总样本数的比例。
分母是全部四种数据;分子中第一个字母是 T 表示 "算法预测正确了"。
准确率有一个缺点,就是数据的样本不均衡,这个指标是不能评价模型的性能优劣的。
精确率(Precision/P)
分母中, TP表示 : 算法预测正确 & 预测的是正例,FP表示 : 算法预测错误 & 预测的是正例(实际是负例)
召回率(Recall)
召回率是指分类正确的正样本个数占真正的正样本个数的比例。召回率也是对部分样本的统计量,侧重对真实的正类样本的统计。它被定义为:
F1分数(F1 score)
F1分数是精确率和召回率的调和平均值,用于综合考虑分类器的性能。
F1分数 = 2 * (精确率 * 召回率) / (精确率 + 召回率)
ROC曲线
接收者操作特征曲线(Receiver Operating Characteristic Curve),通过改变决策阈值,以真阳性率(TPR)为纵坐标,假阳性率(FPR)为横坐标绘制的曲线。ROC曲线越靠近左上角(0,1)点,模型性能越好。
PR曲线
精确率-召回率曲线,纵坐标为精确率,横坐标为召回率。在类别不平衡时,尤其是正例较少的情况,PR曲线能更准确地反映出模型性能。
KNN算法对不同K值下的ROC曲线的分析:
数据集准备
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import precision_recall_curve, roc_curve, auc
# 生成数据集
X, y = make_classification(n_samples=1000, n_classes=2, n_features=10, random_state=42)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
KNN分类器并训练并绘制ROC曲线:
# 定义KNN分类器
knn = KNeighborsClassifier(n_neighbors=2)
# 训练模型
knn.fit(X_train, y_train)
# 预测测试集
y_pred = knn.predict(X_test)
# 计算PR曲线和ROC曲线
precision, recall, _ = precision_recall_curve(y_test, y_pred)
fpr, tpr, _ = roc_curve(y_test, y_pred)
roc_auc = auc(fpr, tpr)
# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='red', lw=2, label='ROC Curve (AUC = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')
plt.show()
不同K值的分析
K=1:
K=3:
K=5:
较小的k值可能导致模型过拟合局部数据结构,而较大的k值可能会导致模型趋于保守和平滑。因此,在实际应用中,选择合适的k值对于优化模型性能至关重要。通过绘制ROC曲线,可以直观地看出这种影响,并据此选择一个在特定任务下具有最佳整体性能的k值。