gbdt算法_GBDT+LR的推荐算法

GBDT+LR的提出源自于高特征交叉带来的组合爆炸问题。推荐系统中的FM及FFM都是在基本特征的基础之上进一步构造新的特征（特征与特征之间的交叉）。2014年，Facebook提出了基于GBDT+LR组合模型的解决方法。

GBDT+LR的使用场景

GBDT+LR主要运用在CTR点击率预估，即去计算用户点击推送广告的概率。那么为什么要采用这种组合方式呢？因为点击率预估涉及到的样本一般是上亿级别的，样本量庞大，而且又要满足实时性，因此模型不能太过复杂，所以模型主要采用速度比较快的LR。但是LR的特征组合能力有限，因此特征工程就特别的重要。现有的特征工程主要集中在特征的重要性以及特征的组合中，采用人力或者单纯的挑选重要性的特征并不可靠，就如同FFM是在FM的基础上增加了"域"的概念，其计算复杂度就增长了很多。用什么样的方法才能做到尽可能的寻找最佳的特征组合呢。GBDT算法整好可以用来发掘具有区分度的特征以及相应的特征组合，大大的减少了人力成本。

GBDT+LR的结构

顾名思义，该模型分为两部分：GBDT和LR，LR在这里就不细讲，感兴趣的朋友移步各大博客，有详细的推导过程。

GBDT

那么GBDT是如何进行特征选择的。我们先来看一棵cart树，因为它是一颗二叉树，所以每一个节点分出两个枝干。每一个叶节点作为输出。

例如，样本x最终落在了小女孩叶节点上，那么我们可以认为age＜15并且No male与最终结果有线性关系。这样我们可以认为每一个叶节点都可以看做一个组合过的特征值，且该特征值与结果有着线性关系（要用LR进行线性组合）。则同样的决策树的深度也决定了特征交叉的阶数。

但是GBDT非常容易产生过拟合。因为决策树本身就是一种细致性分类的模型，它只能基于训练样本产生合适的结果，即，它对训练集是过拟合的，它并不具有泛化能力。

稀疏编码的优势

因为GBDT最后输出的并不是稠密向量，在大量的树和叶子节点中，送入LR中的是高维的稀疏向量。

在工业界，很少将连续值作为特征喂给逻辑回归模型，会更愿意把连续特征离散化为一系列的0，1特征，这样做的优势有

大神指出，特征+模型其实是一个“海量离散特征+简单模型”与“少量连续特征+复杂模型”的权衡

• 稀疏向量内积乘法运算速度快，计算方便存储
• 离散化后的特征对异常数据具有很强的鲁棒性
• 逻辑回归模型属于广义的线性模型，表达能力比较受限，单变量离散化为n个时，相当于为模型引入了非线性，能够提升模型的表达能力
• 离散化后可以进行特征交叉
• 模型会更稳定