集成机器学习7—Scikit-Learn中的GBM—GBDT

$\bullet$ Scikit-Learn中的GBM采用的弱学习器是决策树，所以叫做GBDT。一般不常用GBDT，而用其他实现较好的方式XGBoost、LightGBM。
$\bullet$ CART的简单历史
两位教授在CART的基础之上，分别提出了Boosting和Bagging的方式。随机森林通过Bagging能够降低模型的方差，但偏差没有变化，所以需要每棵树精度比较高，也就是偏差比较小，所以要求深度比较深，或者叶子节点比较多。而GBDT只需弱学习器比随机猜测稍好一些就行，比如后边XGBoost会建议树的深度是3到10之间。

devicance，代表用Logistic损失，也就是交叉熵损失，如果用指数损失的化，这就是一个AdaBoost的算法。learning_rate越小，n_estimators就越大，这个应该是只要用boost算法，就有的一个现象吧？subsample，表示从原始样本中采样多少样本，1.0表示全部。