决策树讲解和代码

决策树最关键的两个部分：1.面对一个实际的数据集，如何构建出一棵树 2.构建树的过程中，树分裂节点时，如何选择出最优的属性作为分裂节点。

算法就是为了选出最优的属性。为什么要选择最优的属性，是因为不同的属性排列组合导致的算法能力的好坏不一样。

决策树包含：根节点（样本全集）、叶节点（决策结果）、内部节点（属性测试）

划分选择的决策树算法有：ID3（信息增益）、C4.5（增益率）、CART（基尼指数）

算法形式如下

---

输入：训练集D，属性集A

过程：函数TreeGenerate(D,A)

生成节点node；

1.如果D中样本属于同一类别C，则将node标记为C类叶节点

2.如果属性集为空或者D中样本在所有属性上取值相同，则将node标记为叶节点

3.从A中选择最优划分属性a*，采用增益率为标准找出最优划分属性，a* = arg max Gain_ratio(D,a)

为node生成一个分支；令Dv表示D在a*上的样本子集；如果Dv为空，将分支节点标记为叶节点，其类别标记为D中样本最多的类

输出：以node为根节点的一颗决策树

---