机器学习-决策树、随机森林、Relief特征选择算法

采用 ski-learn 提供的乳腺癌数据集作为训练模型和预测模型的数据集，采用 Rellief做特征选择，采用随机森林集成学习算法，采用决策树单学习器作为集成学习的对比。

并计算出每种算法的召回率、精度和 F1 分数，画出其ROC曲线和AUC值。

召回率（Recall）：也称为查全率，用来度量模型成功地识别出所有正例的能力。召回率定义见公式1. 召回率的取值范围在 0 到 1 之间，数值越高表示模型对正例的识别能力越强。

精度（Precision）：用来度量模型识别出的正例中有多少是真正的正例。精度定义见公式2.精度的取值范围也在 0 到 1 之间，数值越高表示模型对其判断的正例中真实的正例比例越高。

F1 分数：综合考虑了召回率和精度，是召回率和精度的调和平均数，定义见公式3. F1 分数综合考虑了模型对正例的识别能力和对正例识别的准确性，取值范围同样在 0 到 1 之间，数值越高表示模型在识别和分类任务中的综合表现越好。

Recall=TP/（TP+FN）       公式1

Precision=TP/（TP+FP）  公式2

F1分数=2×Recall×Precision/（Recall+Precision ）  公式3

其中，TP (True Positives) 表示被模型正确识别为正例的样本数，FN(False Negatives)表示本应该被模型识别为正例但未被识别的样本数。FP(False Positives )表示被错误识别为正例的负例样本数。这些度量指标在评估分类模型的性能时非常重要，可以帮助我们更全面地了解模型的表现，并且在优化模型、调整阈值或者比较不同模型时非常有用。

ROC曲线和AUC值是完成了决策树和随机森林模型的训练，并进行了预测之后，评估模型性能的重要指标之一。ROC曲线是一种用于可视化分类模型性能的方法，它显示了不同阈值下真阳性率（True Positive Rate，TPR）与假阳性率（False Positive Rate，FPR）之间的关系。而AUC (Area Under the Curve)表示ROC 曲线下的面积，用于量化分类器的性能。

真阳性率 (TPR)：也称为召回率（Recall），指的是在所有实际为正例的样本中，被正确预测为正例的比例。计算公式为公式1。

假阳性率 (FPR)：表示在所有实际为负例的样本