随机森林和gbdt结合_随机森林与GBDT

相同点：

都是由多棵树组成；最终结果都是由多棵树共同决定；

不同点：

随机森林可以是分类树也可以是回归树；GBDT只能是回归树；

随机森林对异常值不敏感，而GBDT对异常值很敏感；

随机森林对训练集一视同仁，GBDT是基于权值的弱分类器的集成；

随机森林采用多数投票等，BDT则是将所有结果累加起来，或者加权累加起来。

随机森林采用的bagging思想，而GBDT采用的boosting思想, GBDT参数依赖上次一次的计算结果，所以较慢。

随机森林优点

数据集表现良好；

不容易过拟合；

既可以处理离散数据也可以处理连续数据，且数据不需要归一化处理；

可以很好处理缺失数据(随机森林可以选择特定维度进行，所有某些维度去掉依然可行)；5.容易并行化；

GBTS一次只训练一颗树，训练时间大于随机森林，随机森林可并行地训练多颗树。 GBTs训练较浅的树，花费的时间也少。

随机森林不易过拟合，训练更多的树减少了过拟合的可能性，GBTs中训练过多的树会增加过拟合的可能性。(随机森林通过多棵树减少variance方差，GBTs通过多棵树减少bias偏置)。

随机森林易调优，效果会随着数数量的增加单调提升。

分类树主要用于将数据集分类到响应变量所对应的不同类别里，通常响应变量对应两类0 or 1. 如果目标变量对应了2个以上的类别，则需要使用分类树的一个扩展版C4.5(很popular)。然而对于一个二分类问题，常常使用标准的CART算法。不难看出分类树主要用于响应变量天然对应分类的情况。

回归树主要用于响应变量是数值的或者连续的，例如预测商品的价格，其适用于预测一些非分类的问题。

转自

https://www.cnblogs.com/yxy8023ustc/p/3421146.html