GBDTTASK2

1、前向分布算法
Adaboost算法还有另一种解释，即：可以认为Adaboost算法是“模型为加法模型、损失函数为指数函数、学习算法为前向分布算法”时的二类分类学习方法
https://blog.csdn.net/yc1203968305/article/details/78171464
2、负梯度拟合

https://blog.csdn.net/akirameiao/article/details/80009155
3、损失函数
https://www.cnblogs.com/pinard/p/6140514.html
4、回归
https://blog.csdn.net/akirameiao/article/details/80009155
5、二分类，多分类
二分类问题可以根据二分类问题的损失函数解决，每次训练1棵决策树
多分类问题可以根据利用ovr的思想转换为二分类问题解决，k分类每次训练k棵决策树
6、正则化
scikit-learn的GBDT通过学习率实现正则化

7、优缺点
优点：效果好
缺点：并行难

8、sklearn参数
loss：损失函数
learning_rate：学习率
n_estimators：基础分类器数量
subsample：训练基础分类器样本比例
criterion：划分衡量指标
min_samples_split：决策树叶结点继续分裂最小样本数量
min_samples_leaf：决策树叶结点最小样本数量
min_weight_fraction_leaf：决策树叶结点最小加权样本数量
max_depth：决策树最大深度
min_impurity_decrease：决策树叶结点最小衡量指标提升
init：初始化方法
random_state：随机种子
max_features：搜索划分时考虑的特征数量
verbose：控制输出
max_leaf_nodes：决策树最大叶结点数量
warm_start：是否使用之前的输出
presort：是否尝试预先排序数据
validation_fraction：验证集比例，控制算法是否提前结束
n_iter_no_change：控制算法是否提前结束
tol：控制算法是否提前结束