《机器学习》笔记--决策树

决策树

基本流程

一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点，叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集，从根结点到每个叶结点的路径对应了一个判定测试序列.决策树学习的目的是了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的“分而治之”（divide-and-conquer）策略。

决策树基本算法中，有三种情形会导致递归返回：

• 当前结点包含的样本全属于同一类别，无需划分。
• 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分

把当前结点标记为叶结点，并将其类别设定为样本最多的类别

• 当前结点包含的样本集合为空，不能划分

把当前结点标记为叶结点，但将其类别设定为其父结点所含样本最多的类别。

划分选择

一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”（purity）越来越高.

信息增益(ID3)

“信息熵”（information entropy）是度量样本集合纯度最常用的一种指标.

假定当前样本集合D中第k类样本所占的比例为$p_k(k=1,2,...,|Y|)$，则D的信息熵定义为
$$\mathrm{Ent}(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k$$
$\mathrm{Ent}(D)$的值越小则D的纯度越高。

Ent(D)的最小值为0，最大值为$lo{g}_2|\mathcal{Y}|$

证明：

最小值：某个$p_k$为1其余为0时。

最大值可以引入带约束的拉格朗日乘子求导得到。

假定离散属性a有V个可能的取值$\left\{a^1,a^2,\dots ,a^V\right\}$，若使用a来对样本集D进行划分，则会产生V个分支结点，其中第v个分支结点包含了D中所有在属性a上取值为$a^v$的样本，记为$D^v$可根据上式计算出$D^v$的信息熵。由于不同的分支结点所包含的样本数不同，给分支结点赋予权重$\left|D^v\right|/|D|$，即样本数越多的分支结点影响越大，于是可计算出属性a对样本集D进行划分所获得的“信息增益”。
$$\mathrm{Gain}(D,a)=\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)$$
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大.因此，我们可用信息增益来进行决策树的划分属性选择$a_{\ast }=\underset{a\in A}{\mathrm{argmax}}\mathrm{Gain}(D,a)$

###增益率(C4.5)

实际上，信息增益准则对可取值数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，著名的C4.5决策树算法[Quinlan，1993]不直接使用信息增益，而是使用“增益率”（gain ratio）来选择最优划分属性.采用与式（4.2）相同的符号表示.增益率定义为
$$(D,a)=\frac{\mathrm{Gain}(D,a)}{\mathrm{IV}(a)}$$
其中
$$\mathrm{I}\mathrm{V}(a)=-\sum _{v=1}^V\frac{}{|D|}$$