树模型知识点

参考

1. Learning To Rank之LambdaMART的前世今生
2. gbdt原理(非常重要)
3. 决策树-上-ID3_C4.5_CART_及剪枝
4. 数据挖掘十大算法之CART详解
5. 深入理解GBDT回归算法。对GBDT的原理讲解的比较清晰，举的例子也比较好。

知识点

LambdaMART算法原理？

参考Learning To Rank之LambdaMART的前世今生。
损失函数，其中算分函数s=f(x;w)。

这个损失函数，log部分是用算分函数si拟合实际的相关性偏序关系，本质上还是二分类交叉熵。|△Z|是位置权重的影响，在排序问题中，位置越靠前越重要，相应的负梯度应该更大。

对s的一阶梯度

物理意义：上式默认了文档i的相关性高于j。

• 拉开正负样本得分。从i的角度看，sigmod负梯度始终大于0，会使文档得分si增大，拉开正负样本的