一、决策树概述
注:生产实践中,不使用决策树,太简单,而是使用决策树的升级版:集成学习算法。
集成学习算法有:
- Random Forest(随机森林)
- Extremely Randomized Forest(极限随机森林)
- Adaboost提升树
- GBDT(梯度提升树)
- XGBoost(极端梯度提升树)
- LightGBM
注:企业重要决策,由于决策树很好的分析能力,在决策过程应用较多(比如:XGBoost), 可以选择特征。
1、决策树概念
决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-else结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法。
- 决策树算法采用的是自顶向下递归