机器学习-有监督学习-分类算法：决策树算法【CART树：分类树(基于信息熵；分类依据：信息增益、信息增益率、基尼系数)、回归树(基于均方误差)】【损失函数：叶节点信息熵和】【对特征具有很好的分析能力】

一、决策树概述

注：生产实践中，不使用决策树，太简单，而是使用决策树的升级版：集成学习算法。
集成学习算法有：

• Random Forest(随机森林)
• Extremely Randomized Forest(极限随机森林)
• Adaboost提升树
• GBDT(梯度提升树)
• XGBoost(极端梯度提升树)
• LightGBM

注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多（比如：XGBoost）， 可以选择特征。

1、决策树概念

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

• 决策树算法采用的是自顶向下递归