使用sklearn实现GBDT

from sklearn.ensemble import GradientBoostingClassifier

参数

n_estimators：基学习器个数
learning_rate：各个基学习器的学习率（衰减系数）
max_features：{‘None’,‘log2’,‘sqrt’,‘auto’}
loss：分类：{‘deviance’,‘exponential’}(对数似然损失函数，指数损失函数）；回归{‘ls’,‘lad’,‘huber’‘quantile’}（标准差函数，绝对损失函数，huber损失函数，分位数损失函数）
criterion：特征选择标准，一般是默认。
max_depth：最大深度，默认为3，调整该参数影响巨大！
max_leaf_nodes：最大叶子节点数。
min_samples_split：内部划分时所要求的的最小样本数。
min_sample_leaf：叶子节点的最少sample数量要求，不满足则被剪枝。
min_impurity_split：叶子划分的最小不纯度。

属性

feature_importances_：特征重要程度 。
rstimators_：各个基学习器的情况。
loss_：损失函数列表。
train_score_；各轮迭代后模型损失函数的值。

方法

fit(train_x,train_y)
score(test_x,test_y)
predict(test_x)
predict_proba(test_x)
predict_log_proba(test_x)