用 XGBoost 在 Python 中进行特征重要性分析和特征选择

使用诸如梯度增强之类的决策树方法的集成的好处是，它们可以从训练有素的预测模型中自动提供特征重要性的估计。

在本文中，您将发现如何使用Python中的XGBoost库来估计特征对于预测性建模问题的重要性，阅读这篇文章后，您将知道：

• 如何使用梯度提升算法计算特征重要性。

• 如何绘制由XGBoost模型计算的Python中的特征重要性。

• 如何使用XGBoost计算的特征重要性来执行特征选择。

梯度提升中的特征重要性

使用梯度增强的好处是，在构建增强后的树之后，检索每个属性的重要性得分相对简单。通常，重要性提供了一个分数，该分数指示每个特征在模型中构建增强决策树时的有用性或价值。用于决策树的关键决策使用的属性越多，其相对重要性就越高。

此重要性是针对数据集中的每个属性明确计算得出的，从而可以对属性进行排名并进行相互比较。单个决策树的重要性是通过每个属性拆分点提高性能指标的数量来计算的，并由节点负责的观察次数来加权。性能度量可以是用于选择拆分点的纯度（基尼系数），也可以是其他更特定的误差函数。然后，将特征重要性在模型中所有决策树之间平均。有关如何在增强型决策树中计算特征重要性的更多技术信息，请参见《统计学习的要素：数据挖掘，推理和预测》（第367页）第10.13.1节“预测变量的相对重要性”。另外，请参见Matthew Drury对StackOverflow问题“ Boosting的相对变量重要性”的回答，在此他提供了非常详细和实用的答案。

手动绘制特征重要性

训练有素的XGBoost模型会自动计算出您的预测建模问题中的特征重要性。这些重要性分数可在训练模型的feature_importances_成员变量中获得。例如，可以按如下所示直接打印它们：

print(model.feature_importances_)

我们可以将这些得分直接绘制在条形图上，以直观表示数据集中每个特征的相对重要性。例如：

# plot
pyplot.bar(range(len(model.feature_importances_)), model.feature_importances_)
pyplot.show()

我们可以通过在皮马印第安人发病的糖尿病数据集上训练XGBoost模型并根据计算出的特征重要性创建条形图来证明这一点。

下载数据集并将其放置在当前工作目录中。

数据集文件:

https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.csv

数据集详细信息:

https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.names

# plot feature importance manually
from numpy import loadtxt
from xgboost import XGBClassifier
from matplotlib import pyplot
# load data
dataset = loadtxt('pima-indians-diabetes.csv', delimiter=",")
# split data into X and y
X = dataset[:,0:8]
y = dataset[:,8]
# fit model no training data
model = XGBClassifier()
model.fit(X, y)
# feature importance
print(model.feature_importances_)
#