采用 ski-learn 提供的乳腺癌数据集作为训练模型和预测模型的数据集,采用 Rellief做特征选择,采用随机森林集成学习算法,采用决策树单学习器作为集成学习的对比。
并计算出每种算法的召回率、精度和 F1 分数,画出其ROC曲线和AUC值。
召回率(Recall):也称为查全率,用来度量模型成功地识别出所有正例的能力。召回率定义见公式1. 召回率的取值范围在 0 到 1 之间,数值越高表示模型对正例的识别能力越强。
精度(Precision):用来度量模型识别出的正例中有多少是真正的正例。精度定义见公式2.精度的取值范围也在 0 到 1 之间,数值越高表示模型对其判断的正例中真实的正例比例越高。
F1 分数:综合考虑了召回率和精度,是召回率和精度的调和平均数,定义见公式3. F1 分数综合考虑了模型对正例的识别能力和对正例识别的准确性,取值范围同样在 0 到 1 之间,数值越高表示模型在识别和分类任务中的综合表现越好。
Recall=TP/(TP+FN) 公式1
Precision=TP/(TP+FP) 公式2
F1分数=2×Recall×Precision/(Recall+Precision ) 公式3
其中,TP (True Positives) 表示被模型正确识别为正例的样本数,FN(False Negatives)表示本应该被模型识别为正例但未被识别的样本数。FP(False Positives )表示被错误识别为正例的负例样本数。这些度量指标在评估分类模型的性能时非常重要,可以帮助我们更全面地了解模型的表现,并且在优化模型、调整阈值或者比较不同模型时非常有用。
ROC曲线和AUC值是完成了决策树和随机森林模型的训练,并进行了预测之后,评估模型性能的重要指标之一。ROC曲线是一种用于可视化分类模型性能的方法,它显示了不同阈值下真阳性率(True Positive Rate,TPR)与假阳性率(False Positive Rate,FPR)之间的关系。而AUC (Area Under the Curve)表示ROC 曲线下的面积,用于量化分类器的性能。
真阳性率 (TPR):也称为召回率(Recall),指的是在所有实际为正例的样本中,被正确预测为正例的比例。计算公式为公式1。
假阳性率 (FPR):表示在所有实际为负例的样本中,错认为正例的比例。计算公式为公式4.
FPR=FP/(FP+TN )公式4
其中,TN代表真反例(True Negatives)。
阈值 (Threshold):在分类模型中,为了将连续的概率预测转化为离散的类别,需要设定一个阈值。ROC曲线能够很好地展示不同阈值下 TPR 和 FPR 的变化情况。
AUC (Area Under the Curve):ROC 曲线下的面积,用于量化模型的性能。AUC 的取值范围在 0 到 1 之间,数值越接近1表示模型性能越好。
通过对比不同模型的ROC 曲线,并在图中标注出AUC值,可以直观地了解模型的性能。在实际应用中,AUC值越接近于1,表示模型性能越好;而ROC 曲线越靠近左上角,也代表模型的性能越好。
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
from skrebate import ReliefF
import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc
# 加载乳腺癌数据集
data = load_breast_cancer()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 在决策树上进行测试
dt = DecisionTreeClassifier(random_state=42)
dt.fit(X_train, y_train)
y_pred = dt.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
print("Decision Tree without feature selection:")
print("Accuracy: ", accuracy)
print("Precision: ", precision)
print("Recall: ", recall)
print("F1 Score: ", f1)
# 使用ReliefF特征选择
fs = ReliefF()
X_train_fs = fs.fit_transform(X_train, y_train)
X_test_fs = fs.transform(X_test)
dt_fs = DecisionTreeClassifier(random_state=42)
dt_fs.fit(X_train_fs, y_train)
y_pred_fs = dt_fs.predict(X_test_fs)
accuracy_fs = accuracy_score(y_test, y_pred_fs)
precision_fs = precision_score(y_test, y_pred_fs)
recall_fs = recall_score(y_test, y_pred_fs)
f1_fs = f1_score(y_test, y_pred_fs)
print("Decision Tree with ReliefF feature selection:")
print("Accuracy: ", accuracy_fs)
print("Precision: ", precision_fs)
print("Recall: ", recall_fs)
print("F1 Score: ", f1_fs)
# 在随机森林上进行测试
rf = RandomForestClassifier(random_state=42)
rf.fit(X_train, y_train)
y_pred_rf = rf.predict(X_test)
accuracy_rf = accuracy_score(y_test, y_pred_rf)
precision_rf = precision_score(y_test, y_pred_rf)
recall_rf = recall_score(y_test, y_pred_rf)
f1_rf = f1_score(y_test, y_pred_rf)
print("Random Forest without feature selection:")
print("Accuracy: ", accuracy_rf)
print("Precision: ", precision_rf)
print("Recall: ", recall_rf)
print("F1 Score: ", f1_rf)
# 使用ReliefF特征选择
rf_fs = RandomForestClassifier(random_state=42)
fs = ReliefF()
X_train_fs = fs.fit_transform(X_train, y_train)
X_test_fs = fs.transform(X_test)
rf_fs.fit(X_train_fs, y_train)
y_pred_rf_fs = rf_fs.predict(X_test_fs)
accuracy_rf_fs = accuracy_score(y_test, y_pred_rf_fs)
precision_rf_fs = precision_score(y_test, y_pred_rf_fs)
recall_rf_fs = recall_score(y_test, y_pred_rf_fs)
f1_rf_fs = f1_score(y_test, y_pred_rf_fs)
print("Random Forest with ReliefF feature selection:")
print("Accuracy: ", accuracy_rf_fs)
print("Precision: ", precision_rf_fs)
print("Recall: ", recall_rf_fs)
print("F1 Score: ", f1_rf_fs)
# 在决策树上
plt.figure(figsize=(10, 5))
# 不使用特征选择的决策树的ROC曲线和AUC值
y_score_dt = dt.predict_proba(X_test)[:, 1]
fpr_dt, tpr_dt, _ = roc_curve(y_test, y_score_dt)
roc_auc_dt = auc(fpr_dt, tpr_dt)
plt.subplot(1, 2, 1)
plt.plot(fpr_dt, tpr_dt, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_dt)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Decision Tree without Feature Selection')
plt.legend(loc="lower right")
# 使用ReliefF特征选择的决策树的ROC曲线和AUC值
y_score_dt_fs = dt_fs.predict_proba(X_test_fs)[:, 1]
fpr_dt_fs, tpr_dt_fs, _ = roc_curve(y_test, y_score_dt_fs)
roc_auc_dt_fs = auc(fpr_dt_fs, tpr_dt_fs)
plt.subplot(1, 2, 2)
plt.plot(fpr_dt_fs, tpr_dt_fs, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_dt_fs)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Decision Tree with ReliefF Feature Selection')
plt.legend(loc="lower right")
plt.tight_layout()
plt.show()
# 在随机森林上
plt.figure(figsize=(10, 5))
# 不使用特征选择的随机森林的ROC曲线和AUC值
y_score_rf = rf.predict_proba(X_test)[:, 1]
fpr_rf, tpr_rf, _ = roc_curve(y_test, y_score_rf)
roc_auc_rf = auc(fpr_rf, tpr_rf)
plt.subplot(1, 2, 1)
plt.plot(fpr_rf, tpr_rf, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_rf)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Random Forest without Feature Selection')
plt.legend(loc="lower right")
# 使用ReliefF特征选择的随机森林的ROC曲线和AUC值
y_score_rf_fs = rf_fs.predict_proba(X_test_fs)[:, 1]
fpr_rf_fs, tpr_rf_fs, _ = roc_curve(y_test, y_score_rf_fs)
roc_auc_rf_fs = auc(fpr_rf_fs, tpr_rf_fs)
plt.subplot(1, 2, 2)
plt.plot(fpr_rf_fs, tpr_rf_fs, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_rf_fs)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Random Forest with ReliefF Feature Selection')
plt.legend(loc="lower right")
plt.tight_layout()
plt.show()