GBDT算法梳理

1.前向分布算法
一颗生成好的 决策树，假设其叶子节点个数为TT，该 决策树是由所有叶子节点对应的值组成的向量w∈RTw∈RT，以及一个把特征向量映射到叶子节点索引（Index）的函数q:Rd→{1,2,⋯,T}q:Rd→{1,2,⋯,T}组成的。因此，策树可以定义为ft(x)=wq(x)ft(x)=wq(x)。
决策树的复杂度可以由正则项Ω(ft)=γT+12λ∑Tj=1w2jΩ(ft)=γT+12λ∑j=1Twj2来定义，即 决策树模型的复杂度由生成的树的叶子节点数量和叶子节点对应的值向量的L2范数决定。
2.负梯度拟合

3.损失函数

4.回归
回归算法选择的损失函数一般是均方差(最小二乘)或者绝对值误差
5.二分类，多分类
二分类：利用Logistic回归
多分类：多分类器集成，利用Softmax
6.正则化

7.优缺点
优点：可以处理连续值和离散值；
缺点：由于弱学习器之间存在关联关系，难以并行训练模型
8.sklearn参数
最大深度max_depth:
最小样本数min_samples_split
叶子节点最少样本数min_samples_leaf
最大叶子节点数max_leaf_nodes
9.应用场景
GBDT几乎可用于所有回归问题（线性/非线性），亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例