吃瓜教程 | 第四章 决策树

4.1 基本流程

• 决策树(decisiontree)是一类常见的机器学习方法.。决策树是基于树结构来进行决策的，通过一系列的判断或“子决策”得到最终决策，其目的是产生一棵泛化能力强，即处理未见示例能力强的决策树。

• 一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果?其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集.从根结点到每个叶结点的路径对应了一个判定测试序列.决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的"分而治之"(divide-and-conquer)策略。

   

   决策树的生成是一个递归过程.在决策树基本算法中，有三种情形会导致递归返回:
  (1)当前结点包含的样本全属于同一类别，无需划分;
  (2)当前属性集为空，或是所有样本在所有属性上取值相同，无法划分;
  (3)当前结点包含的样本集合为空，不能划分.
  在第(2)和(3)种情形下，当前结点均会被标记为叶节点，区别是前者将其类别设定为该结点所含样本最多的类别，后者将其类别设定为其父结点所含样本最多的类别。

4.2 划分选择

决策树学习的关键，即如何选择最优划分属