LambdaMART结合了LambdaRank和MART的思想，通过梯度提升树来优化排序问题。MART利用梯度下降原理，通过集成多个弱分类器形成强分类器。LambdaRank关注的是排序中的相对位置，目标是最大化NDCG。LambdaMART则是通过boosting方法，每次迭代更新评分函数，以LambdaRank的梯度形式进行优化，构建回归树。与LambdaRank神经网络的训练方式不同，LambdaMART采用回归树加梯度提升策略，以实现更高效的排序学习。
LambdaRank如何跟MART结合在一起的。
MART是一个经典的集成思想，多个弱分类器可以生成一个比他们都好的分类器。
MART思想：
主要来自这篇论文：
GREEDY FUNCTION APPROXIMATION:A GRADIENT BOOSTING MACHINE1
其思路来源于数值优化---梯度下降。在使用梯度下降时，更新函数的参数是，w= w-δw
从数值优化推广到函数空间的优化,可以得到δf, f= f-δf.
新生成的每个树h(x,m)需要跟-δf（f的梯度）之差最小（如果为0，则新生成的树就是所要求的梯度），第4行。
F（x） =F（x） + ρmh(x,m)，针对排序问题，F(x)代表x的评分，也就是y。
因此可以通过前面已生成的树(m-1)，就可以生成一棵新树δf(m).
最低0.47元/天 解锁文章
扫一扫
2183
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
