数据挖掘：模型选择——树模型

决策树

决策树：是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。
先举个很直观的例子，有如下的一个数据表，根据其中的信息来判断是否去打球。

要根据以往的信息，来判断新的信息属于哪种情况，然后得出结论。但是单纯地从这张表上看，感觉会特别繁琐。于是人们想到了用决策树来处理这种情况，if-then的结构人们也比较容易直观理解。

这里给出关于决策树节点的一些概念。

决策树学习通常包括 3 个步骤：特征选择、决策树的生成和决策树的修剪。其中特征选择和决策树剪枝是核心问题。

特征选择

不纯度

决策树需要找出最佳节点和最佳的分枝方法，而衡量这个“最佳”的指标叫做“不纯度”。不纯度基于叶子节点来计算的.

因为分类型决策树在叶子节点上的决策规则是少数服从多数，如果一个叶子节点上，某一类别占比90%，那么我们倾向于该类别，样本被判错的概率就很低；若某一类别占比51%，另一类别占比49%，那么样本被判错的概率就很高。因此，不纯度越低，决策树对训练集的拟合越好。那么如何来衡量不纯度呢？这里引入熵的概念。

熵和Gini指数

熵一种信息的度量方式，表示信息的混乱程度。信息越有序，信息熵越低。以下是熵的计算公式。t代表决策树的某节点， 设p(i|t)表示给定结
点t中属于类别i的样本所占的比例，这个比例越高，节点越纯。

另一个指标则是Gini（基尼）指数，主要用于CART决策树的纯度判定中，基尼指数越大，样本集合的不确定性越大。其公式为：

用下面这个例子来说明下不纯度的计算：


决策树最终的优化目标是使得叶节点的总不纯度最低，即对应衡量不纯度的指标最低。
采用不同的方法来衡量不纯度，会产生不同的决策树。主要有ID3，C4.5，CART分类回归树。

ID3

ID3决策树采用信息熵来衡量不纯度࿰