吃瓜教程—Task03（决策树）

知识点

决策树

逻辑角度：一堆if else语句的组合
几何角度：根据某种准则划分特征空间
最终目的：将样本越分越纯
 决策树学习的关键，是如何选择最优划分属性，一般而言，随着划分过程不断进行，我们希望决策树的分支节点所包含的样本尽可能属于同一类别，即结点的纯度越来越高。
 决策树学习的目的是为了产生一颗泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单而直观的“分而治之”策略。如下图所示：

ID3决策树

自信息：（一个随机变量所含的信息）

条件熵：

信息增益：

 一般而言，信息增益越大，则意味着使用属性来进行划分所获得的“纯度提升”越大，因此，我们可用信息增益来进行决策树的划分属性选择。

C4.5决策树

 实际上，信息增益准则对可取值数目越多的属性有所偏好，如：把样本编号作为一个候选划分属性，信息增益为0.998。为减少这种偏好可能带来的不利影响，C4.5决策树采用增益率来选择最优划分属性。

 而只平衡了可取值数目多的时候，当可取值数目小的时候，增益率还是会增大，所以，C4.5采用启发式方法：先先出信息率高于平均水平的属性，然后再从中选择增益率最高的。

CART决策树

 CART决策树使用“基尼指数”来选择划分属性。


注意：过在构造 CART 决策树时并不会严格按照此式来选择最优划分属性，主要是因为 CART 决策树是一棵二叉树，如果用上式去选出最优划分属性，无法进一步选出最优划分属性的最优划分点。
CART 决策树的构建过程—西瓜书例子：