《机器学习》（周志华）学习笔记（四）：决策树

引言

上一篇学习了机器学习中常用的线性模型。首先学习了对于回归问题采用最小二乘法等数学方法对一般线性模型和广义线性模型进行推导。接着讨论了对于分类问题，采用对数几率回归的方法进行求解。又介绍了线性判别分析（LDA）这个经典的线性学习方法。最后对于多分类问题和类别不平衡问题给出了解决办法。
本篇继续学习一个非常重要的学习方法：决策树。

1.基本概念及流程

决策树顾名思义，就是以树结构来进行决策，它包含有一个根结点、若干个分支结点和若干个叶结点（对应决策结果）。
决策树的生成是一个递归过程，在决策树算法中，有三种情况会导致递归返回：
（1）当前结点包含的样本全属于同一类别，无需划分;
（2）当前属性集为空，或是所有样本在所有属性上取值相同，无法划分;
（3）当前结点包含的样本集合为空，不能划分。
其算法的流程如下：

2.划分选择

决策树的关键在于如何对属性进行划分选择。我们通常希望决策树的分支结点包含的样本尽量属于同一类别，即“纯度”高。衡量这个“纯度”有一下几种指标。

2.1.信息增益（ID3决策树）

信息熵的概念：信息熵是度量样本集纯度的一种指标