机器学习——模型评估

1.机器学习模型评估概述

        机器学习模型评估是对模型性能进行量化和优化的过程。评估不仅涉及对模型在训练集上的性能考察，还包括在测试集上的表现评估。训练集用于训练模型，测试集则用于验证模型在新数据上的泛化能力。此外，为了充分了解模型的性能，还常常采用交叉验证等技术进行评估。

        1.1混淆矩阵

                混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于分类型的数据模型，如分类树（Classification Tree）、逻辑回归（Logistic Regression）、线性判别分析（Linear Discriminant Analysis）等方法。

TP(True Positive)：将正确类预测为正确类，真实为0，预测也为0

FN(False Negative)：将正确类预测为错误类，真实为0，预测为1

FP(False Positive)：将错误类预测为正确类， 真实为1，预测为0

TN(True Negative)：将错误类预测为错误类，真实为1，预测也为1

        1.2模型评估的性能度量指标

                性能度量指标是评估机器学习模型性能的关键工具。常用的性能度量指标包括准确率、精确率、召回率、F1分数、ROC 、AUC面积等。这些指标可用于二分类、多分类和回归等不同类型的机器学习问题。

                准确率：表示预测正确的样本数占总样本数的比例；

                        ​​​​​​​        ​​​​​​​

                精确率：表示预测为正且确实为正的样本数所占的比例；

                                

                召回率：表示预测为负且确实为负的样本数所占的比例；

                                

                F1分数：精确率和召回率的调和平均数，用于综合考虑二者的性能；

                                

                ROC、AUC面积：一种常用的分类性能指标，表示在所有可能的分类阈值下模型的ROC曲线与y=x线之间的面积；

        1.3 过拟合与欠拟合

                 过拟合是指模型在训练集上表现很好，到了验证和测试阶段就很差，即模型的泛化能力很差。

                解决方法：1：重新清洗数据，数据不纯会导致过拟合，此类情况需要重新清洗数据；

                                  2：增加训练样本数量；

                                  3：降低模型复杂程度；

                                  4：减少迭代次数；

                                  5：增大学习率；

                                  6：添加噪声数据；

                                  7：树结构中，可以对树进行剪枝；

                                  8：减少特征项。

                欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况；

                解决方法：1：添加其他特征项。组合、泛化、相关性、上下文特征、平台特征等特征是特征添加的重要手段，有时候特征项不够会导致模型欠拟合；

                                  2：添加多项式特征。例如将线性模型添加二次项或三次项使模型泛化能力更强；

                                  3：可以增加模型的复杂程度；

                                  4:减小正则化系数。

2. 模型评估实例

        绘制PR曲线和ROC曲线，并在不同的k值下进行比较。

        2.1 代码实现

                2.1.1数据集

                        本次实验用到sklearn库用于生成了一个二分类数据集和划分训练集和测试集。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import precision_recall_curve, roc_curve, auc

# 生成数据集
X, y = make_classification(n_samples=1000, n_classes=2, n_features=10, random_state=55)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

                2.1.2 定义KNN分类器并且训练

                        此时k=5，后续在这修改k值

# 定义KNN分类器
knn = KNeighborsClassifier(n_neighbors=5)

# 训练模型
knn.fit(X_train, y_train)

        2.1.3 绘制PR曲线和ROC曲线       

# 预测测试集
y_pred = knn.predict(X_test)

# 计算PR曲线和ROC曲线
precision, recall, _ = precision_recall_curve(y_test, y_pred)
fpr, tpr, _ = roc_curve(y_test, y_pred)
roc_auc = auc(fpr, tpr)

# 绘制PR曲线
plt.figure(figsize=(8, 6))
plt.plot(recall, precision, color='blue', lw=2, label='PR Curve (AUC = %0.2f)' % auc(precision, recall))
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('PR Curve')
plt.legend(loc='lower right')
plt.show()

# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='red', lw=2, label='ROC Curve (AUC = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')
plt.show()

        2.2 效果分析

        当k=5时，PR曲线

        k=5时，ROC曲线

不同k值下ROC曲线

 

       

        根据实验发现，当k<5时模型曲线变化较大，测试集与训练集差异大；当k>5时模型泛化性提高，曲线趋于平稳。

3. 总结

        PR曲线越靠近右上角说明精确率和召回率高，模型性能越好；PR曲线下的面积（AUC）越大，表示模型性能越优秀。

        ROC曲线越靠近左上角说明召回率高，假阳性率低，说明模型性能越好。ROC曲线下的面积（AUC）越大，表示模型性能越优秀。

        模型评估指标中，AUC表示ROC曲线下的面积，用于衡量模型对正负样本的区分能力；PR AUC表示PR曲线下的面积，用于衡量模型在正类预测上的精确度和召回率之间的平衡。AUC和PR AUC越接近1，模型性能越好。