《机器学习》周志华第四章笔记

自己对决策树的一些理解，不一定对，权当加深印象。

4.1基本流程

组成：一个根节点、若干内部节点和若干叶节点；叶节点对应了不同的预测结果，我们的目的是从包含样本全集的根节点找到它到每个叶节点的路径对应一个判定预测序列。
目的：产生一棵泛化能力强的决策树。什么叫做泛化能力强呢？就是这颗决策树能够对之前没见过的样本也能做出正确的预测。整个过程如下

输入：训练集D，属性集A
1、生成节点node
2、如果 D中的样本全部属于同意类别C，那么就将node标记为C类的叶节点。返回。
3、如果2不满足，并且属性集为空或者D样本在A上的取值相同，就将node标记为叶节点并且类别设置为D中样本最多的类；返回。
4、一般情况：从A中选择最优的属性划分A'，根据D中在A'上的属性可能取值进行划分，划分完之后属性集大小减1，样本D在当前节点上分为N（N为D在