xgboost特征重要性

from sklearn.model_selection import train_test_split
from sklearn import metrics
from sklearn.datasets  import  make_hastie_10_2
from xgboost.sklearn import XGBClassifier
from xgboost import plot_importance
from matplotlib import pyplot

X, y = make_hastie_10_2(random_state=0)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)##test_size测试集合所占比例

clf = XGBClassifier(
silent=0 ,#设置成1则没有运行信息输出，最好是设置为0.是否在运行升级时打印消息。
learning_rate= 0.3, # 如同学习率
min_child_weight=1, 
max_depth=6, # 构建树的深度，越大越容易过拟合
gamma=0,  # 树的叶子节点上作进一步分区所需的最小损失减少,越大越保守，一般0.1、0.2这样子。
subsample=1, # 随机采样训练样本 训练实例的子采样比
max_delta_step=0,#最大增量步长，我们允许每个树的权重估计。
colsample_bytree=1, # 生成树时进行的列采样 
reg_lambda=1,  # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。
n_estimators=100, #树的个数
seed=1000 #随机种子
)

model = clf.fit(X_train,y_train,eval_metric='auc')

y_true, y_pred = y_test, clf.predict(X_test)

print("Accuracy : %.4g" % metrics.accuracy_score(y_true, y_pred))
model.fit(X, y)
print(plot_importance(model))
print(pyplot.show())

 微信关注一揽子数据知识