决策树介绍

链接

决策树类介绍

1. LGBM模型

LGBM算法的原理基于GBDT算法，也是通过逐步建立决策树来进行预测。采用直方图算法，xgb分裂点数量过多的问题；采用单边梯度抽样算法，解决xgb样本数量过多的问题；采用互斥特征捆绑算法，解决xgb特征数量过多的问题。

2. XGB模型

Xgboost算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。
XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。 它在Gradient Boosting框架下实现机器学习算法。 XGBoost提供了并行树提升（也称为GBDT，GBM），可以快速准确地解决许多数据科学问题。

3. 随机森林RF

随机森林建立了多个决策树，并将它们合并在一起以获得更准确和稳定的预测，是以决策树为估计器的Bagging算法。随机森林的大小为 K，最后投票决定分类结果。概率为所有树的输出的平均值。

决策树类模型特征

1. 由于稳健性等优势，在业内广泛应用；
2. 决策树为基础模型，通过boosting、bagging等方式集成多颗决策树 ，形成最终模型。