本文对比了RF、adaboost、gbdt和xgboost等树模型，探讨了它们的训练效率、过拟合风险、异常值敏感度等特性。xgboost预排序耗时且可能产生不必要的开销，LightGBM则优化了这些。Adaboost侧重改变误分类样本权重，GBDT关注残差。RF与GBDT虽都是多棵树，但RF基于bagging并行生成，对异常值不敏感，而GBDT是boosting串行生成，对异常值敏感。在过拟合方面，RF较易发生，GBDT较难。最后，AdaBoost对异常值敏感，k-means同样如此。
集成模型对比：RF，adaboost，gbdt，xgboost
1.与LightGBM相比，xgboost明显的不足：
1）xgBoosting采用预排序，在迭代之前，对结点的特征做预排序，遍历选择最优分割点，数据量大时，贪心法耗时，LightGBM方法采用histogram算法，占用的内存低，数据分割的复杂度更低；
2）xgBoosting采用level-wise生成决策树，同时分裂同一层的叶子，从而进行多线程优化，不容易过拟合，但很多叶子节点的分裂增益较低，没必要进行跟进一步的分裂，这就带来了不必要的开销；LightGBM采用深度优化，leaf-wise生长策略，每次从当前叶子中选择增益最大的结点进行分裂，循环迭代，但会生长出更深的决策树，产生过拟合，因此引入了一个阈值进行限制，防止过拟合.
2.Adaboost和GBDT的异同点
1)关注点：分错权值，残差
Adaboost每轮学习的一个基本学习器是通过改变样本的权值，关注上轮分类错误的样本的权值，以逐步减少在训练集上的分类误差率。而GBDT每轮学习一个基本学习器是通过改变输出值，每轮拟合的值为真实值与已有的加法模型的差值（即残差）。
2)异常点:adaboost存在异常点敏感的问题
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
