【决策树算法】{0} —— 决策树模型简介

什么是决策树？

决策树是一种逻辑简单的机器学习算法，可用作分类，也可用作回归，属于监督学习（Supervised learning）。

决策树的模型表达式f(x)很难被写出，却很容易被画出

---

决策树是一种树形结构：

树形结构：

①结点+有向边
②没有回路，根结点为始、叶子结点为终

或者这么画：

根节点：包含样本的全集
内部节点：对应特征属性测试
叶节点：代表决策的结果

---

决策树学习的步骤：

1. 特征选择
   根据信息增益的准则，筛选出跟分类结果相关性较高的特征，也就是分类能力较强的特征。

2. 决策树生成及分裂
   从根节点开始，对每个节点计算所有特征的信息增益，选择信息增益最大的特征作为节点特征，根据