机器学习-决策树、随机森林、Relief特征选择算法

采用 ski-learn 提供的乳腺癌数据集作为训练模型和预测模型的数据集，采用 Rellief做特征选择，采用随机森林集成学习算法，采用决策树单学习器作为集成学习的对比。

并计算出每种算法的召回率、精度和 F1 分数，画出其ROC曲线和AUC值。

召回率（Recall）：也称为查全率，用来度量模型成功地识别出所有正例的能力。召回率定义见公式1. 召回率的取值范围在 0 到 1 之间，数值越高表示模型对正例的识别能力越强。

精度（Precision）：用来度量模型识别出的正例中有多少是真正的正例。精度定义见公式2.精度的取值范围也在 0 到 1 之间，数值越高表示模型对其判断的正例中真实的正例比例越高。

F1 分数：综合考虑了召回率和精度，是召回率和精度的调和平均数，定义见公式3. F1 分数综合考虑了模型对正例的识别能力和对正例识别的准确性，取值范围同样在 0 到 1 之间，数值越高表示模型在识别和分类任务中的综合表现越好。

Recall=TP/（TP+FN）       公式1

Precision=TP/（TP+FP）  公式2

F1分数=2×Recall×Precision/（Recall+Precision ）  公式3

其中，TP (True Positives) 表示被模型正确识别为正例的样本数，FN(False Negatives)表示本应该被模型识别为正例但未被识别的样本数。FP(False Positives )表示被错误识别为正例的负例样本数。这些度量指标在评估分类模型的性能时非常重要，可以帮助我们更全面地了解模型的表现，并且在优化模型、调整阈值或者比较不同模型时非常有用。

ROC曲线和AUC值是完成了决策树和随机森林模型的训练，并进行了预测之后，评估模型性能的重要指标之一。ROC曲线是一种用于可视化分类模型性能的方法，它显示了不同阈值下真阳性率（True Positive Rate，TPR）与假阳性率（False Positive Rate，FPR）之间的关系。而AUC (Area Under the Curve)表示ROC 曲线下的面积，用于量化分类器的性能。

真阳性率 (TPR)：也称为召回率（Recall），指的是在所有实际为正例的样本中，被正确预测为正例的比例。计算公式为公式1。

假阳性率 (FPR)：表示在所有实际为负例的样本中，错认为正例的比例。计算公式为公式4.

FPR=FP/（FP+TN ）公式4

其中，TN代表真反例（True Negatives）。

阈值 (Threshold)：在分类模型中，为了将连续的概率预测转化为离散的类别，需要设定一个阈值。ROC曲线能够很好地展示不同阈值下 TPR 和 FPR 的变化情况。

AUC (Area Under the Curve)：ROC 曲线下的面积，用于量化模型的性能。AUC 的取值范围在 0 到 1 之间，数值越接近1表示模型性能越好。

通过对比不同模型的ROC 曲线，并在图中标注出AUC值，可以直观地了解模型的性能。在实际应用中，AUC值越接近于1，表示模型性能越好；而ROC 曲线越靠近左上角，也代表模型的性能越好。

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
from skrebate import ReliefF
import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc

# 加载乳腺癌数据集
data = load_breast_cancer()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 在决策树上进行测试
dt = DecisionTreeClassifier(random_state=42)
dt.fit(X_train, y_train)
y_pred = dt.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
print("Decision Tree without feature selection:")
print("Accuracy: ", accuracy)
print("Precision: ", precision)
print("Recall: ", recall)
print("F1 Score: ", f1)

# 使用ReliefF特征选择
fs = ReliefF()
X_train_fs = fs.fit_transform(X_train, y_train)
X_test_fs = fs.transform(X_test)

dt_fs = DecisionTreeClassifier(random_state=42)
dt_fs.fit(X_train_fs, y_train)
y_pred_fs = dt_fs.predict(X_test_fs)
accuracy_fs = accuracy_score(y_test, y_pred_fs)
precision_fs = precision_score(y_test, y_pred_fs)
recall_fs = recall_score(y_test, y_pred_fs)
f1_fs = f1_score(y_test, y_pred_fs)
print("Decision Tree with ReliefF feature selection:")
print("Accuracy: ", accuracy_fs)
print("Precision: ", precision_fs)
print("Recall: ", recall_fs)
print("F1 Score: ", f1_fs)

# 在随机森林上进行测试
rf = RandomForestClassifier(random_state=42)
rf.fit(X_train, y_train)
y_pred_rf = rf.predict(X_test)
accuracy_rf = accuracy_score(y_test, y_pred_rf)
precision_rf = precision_score(y_test, y_pred_rf)
recall_rf = recall_score(y_test, y_pred_rf)
f1_rf = f1_score(y_test, y_pred_rf)
print("Random Forest without feature selection:")
print("Accuracy: ", accuracy_rf)
print("Precision: ", precision_rf)
print("Recall: ", recall_rf)
print("F1 Score: ", f1_rf)

# 使用ReliefF特征选择
rf_fs = RandomForestClassifier(random_state=42)
fs = ReliefF()
X_train_fs = fs.fit_transform(X_train, y_train)
X_test_fs = fs.transform(X_test)
rf_fs.fit(X_train_fs, y_train)
y_pred_rf_fs = rf_fs.predict(X_test_fs)
accuracy_rf_fs = accuracy_score(y_test, y_pred_rf_fs)
precision_rf_fs = precision_score(y_test, y_pred_rf_fs)
recall_rf_fs = recall_score(y_test, y_pred_rf_fs)
f1_rf_fs = f1_score(y_test, y_pred_rf_fs)
print("Random Forest with ReliefF feature selection:")
print("Accuracy: ", accuracy_rf_fs)
print("Precision: ", precision_rf_fs)
print("Recall: ", recall_rf_fs)
print("F1 Score: ", f1_rf_fs)



# 在决策树上
plt.figure(figsize=(10, 5))

# 不使用特征选择的决策树的ROC曲线和AUC值
y_score_dt = dt.predict_proba(X_test)[:, 1]
fpr_dt, tpr_dt, _ = roc_curve(y_test, y_score_dt)
roc_auc_dt = auc(fpr_dt, tpr_dt)
plt.subplot(1, 2, 1)
plt.plot(fpr_dt, tpr_dt, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_dt)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Decision Tree without Feature Selection')
plt.legend(loc="lower right")

# 使用ReliefF特征选择的决策树的ROC曲线和AUC值
y_score_dt_fs = dt_fs.predict_proba(X_test_fs)[:, 1]
fpr_dt_fs, tpr_dt_fs, _ = roc_curve(y_test, y_score_dt_fs)
roc_auc_dt_fs = auc(fpr_dt_fs, tpr_dt_fs)
plt.subplot(1, 2, 2)
plt.plot(fpr_dt_fs, tpr_dt_fs, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_dt_fs)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Decision Tree with ReliefF Feature Selection')
plt.legend(loc="lower right")

plt.tight_layout()
plt.show()

# 在随机森林上
plt.figure(figsize=(10, 5))

# 不使用特征选择的随机森林的ROC曲线和AUC值
y_score_rf = rf.predict_proba(X_test)[:, 1]
fpr_rf, tpr_rf, _ = roc_curve(y_test, y_score_rf)
roc_auc_rf = auc(fpr_rf, tpr_rf)
plt.subplot(1, 2, 1)
plt.plot(fpr_rf, tpr_rf, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_rf)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Random Forest without Feature Selection')
plt.legend(loc="lower right")

# 使用ReliefF特征选择的随机森林的ROC曲线和AUC值
y_score_rf_fs = rf_fs.predict_proba(X_test_fs)[:, 1]
fpr_rf_fs, tpr_rf_fs, _ = roc_curve(y_test, y_score_rf_fs)
roc_auc_rf_fs = auc(fpr_rf_fs, tpr_rf_fs)
plt.subplot(1, 2, 2)
plt.plot(fpr_rf_fs, tpr_rf_fs, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc_rf_fs)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Random Forest with ReliefF Feature Selection')
plt.legend(loc="lower right")

plt.tight_layout()
plt.show()