决策树类介绍
- LGBM模型
LGBM算法的原理基于GBDT算法,也是通过逐步建立决策树来进行预测。采用直方图算法,xgb分裂点数量过多的问题;采用单边梯度抽样算法,解决xgb样本数量过多的问题;采用互斥特征捆绑算法,解决xgb特征数量过多的问题。
- XGB模型
Xgboost算法思想就是不断地添加树,不断地进行特征分裂来生长一棵树,每次添加一个树,其实是学习一个新函数,去拟合上次预测的残差。当我们训练完成得到k棵树,我们要预测一个样本的分数,其实就是根据这个样本的特征,在每棵树中会落到对应的一个叶子节点,每个叶子节点就对应一个分数,最后只需要将每棵树对应的分数加起来就是该样本的预测值。
XGBoost是一个优化的分布式梯度增强库,旨在实现高效,灵活和便携。 它在Gradient Boosting框架下实现机器学习算法。 XGBoost提供了并行树提升(也称为GBDT,GBM),可以快速准确地解决许多数据科学问题。
- 随机森林RF
随机森林建立了多个决策树,并将它们合并在一起以获得更准确和稳定的预测,是以决策树为估计器的Bagging算法。随机森林的大小为 K,最后投票决定分类结果。概率为所有树的输出的平均值。
决策树类模型特征
- 由于稳健性等优势,在业内广泛应用;
- 决策树为基础模型,通过boosting、bagging等方式集成多颗决策树 ,形成最终模型。