gbdt和xgboost的详细介绍:https://wenku.baidu.com/view/44778c9c312b3169a551a460.html
回归树就是把连续取值区间分箱,叶子节点为一个个小的取值区间
基尼指数与熵的定义不同,熵是描述混乱状态的变量,熵越大混乱程度高;而基尼指数是指分类后分类节点左右子树下按类别衡量的纯度,纯度越高,基尼指数越小,该特征就越适合拿来作分类节点。
此处水下这个特征基尼指数更低,故选取它作为根节点
下面介绍梯度提升树
对上一轮分类错误的样本增大权重;对上一轮分类正确的样本降低权重;对基础model则相反
启发式学习,第二行为前向分布函数,每次迭代优化一棵树,而不是M个
根据上轮残差迭代
梯度提升树是把残差变成损失函数的负梯度在当前模型的取值,用这个取值模拟残差
下面是喜闻乐见的xgboost
相对gbdt,损失函数加入了正则项,但与gbdt用损失函数的负梯度来拟合当前残差不同,xgboost利用了泰勒级数展开,
xgboost的所有树都是回归树
树模型:将每个样本的输入落到某个叶子节点上,然后将叶子节点组成的高维特征送到lr中