从LBF/JDA理解GBDT,RF,BOOST之间的关系

前段时间做了LBF/JDA，之后对GBDT，GBDT+ LR，Additive Regression，Random Forest，Boosting的概念产生了错乱。

目前来看，LBF/JDA整体是一个Additive Regression。

有些人说GBDT就是Additive Regression，我觉得也对，从减小残差的目标来看，二者是一致的。

这两种叫法与Boosting都算一个思想，但具体实现方式不同。最明显的就是前者样本权重是一致的（也可以说没有样本权重），以减小当前迭代预测值与真实值的残差为目标；后者是通过样本权重的变化来获得新的优化目标。

在LBF/JDA这两篇文章里，个人认为是对GBDT的DT做了修改，GBDT是通过建立一颗新树来做一次新的回归，而LBF/JDA是通过建立一片Random Forest（提取LBF特征）再加上LR进行回归的。这也是让我头昏的地方（也许现在还在昏）。

先说RF+LR做回归这步，本来可以只用RF作回归的，这样就可以叫GBRF了。但是作者提出了LBF特征的概念，只把RF当做提特征的手段，后面那个根据LBF特征的LR才是我们需要的回归步骤（减小残差）。

也许该写成GB(RF+LR)这种形式，但这又与我脑中的GBDT+LR发生了混淆。这两者，还有RF+LR三者完全不是一个概念。

RF+LR与GBDT+LR。最明显的，RF本身是一个回归模型，而GBDT是一系列小回归模型的组合回归模型。虽然+LR的方式都是把二者做为提特征的工具（不是回归工具），但是两种特征算是在意义上不同吧。都是叶子节点做特征，RF是一堆“并行”的树，GBDT是“串行”的。

那么Additive Regression中的Regression也可以是一个Additive Regression。我现在算是能看懂 GB(RF+LR)+LR 是啥了吗？