西瓜书_chapter4_决策树

4.1 基本概念

决策树的生成是一个递归的过程，在几种条件下会被终止，一是当前结点下的类别都一样，二是现有属性不能对剩下的样本进行区分，三是当前结点下没有样本。

4.2 划分选择

这一节研究的问题是如何选取上图中第8行的属性

4.2.1 信息增益

一种方法是依据信息熵来对某一属性的各个取值的纯度进行度量。对于一个样本集合$D$，其中第k类样本所占的比例是$p_k$，则信息熵的定义为
$$Ent(D)=-\sum _{k=1}^{|y|}{p}_k\log p_k$$
熵值越大，表示其中的信息越混乱，纯度越低。那么如何衡量一个属性对决策树性能提升的帮助呢？我们可以用父节点的熵值来减去用该属性进行划分后产生的子节点的熵值，得到熵增益。
$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D_v|}{|D|}Ent(D_v)$$
从上式中可以看到，如果子节点的熵值越小，那么信息增益也就越大。

4.2.2 增益率

信息增益准则对可取值数目较多的属性有所偏好，为了减少这种偏好可能带来的不利影响，我们引入了增益率的概念
$$\begin{gathered} Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)} \\ IV(a)=-\sum _{v=1}^V\frac{|D_v|}{|D|}lo{g}_2\frac{|D_v|}{|D|} \end{gathered}$$

4.2.3 基尼指数

$$Gini(D)=\sum _{k=1}^{|y|}\sum _{k^{\prime }̸=k}{p}_k{p}_{k^{\prime }}$$
另一种纯度的度量方式

4.3 剪枝处理

决策树剪枝分为预剪枝和后简直。预剪枝是对当前结点在划分前后进行估计，如果划分不能使得决策树的泛化性能得到提升，那么就停止划分；后剪枝则是从训练集中生成完整的树，而后再自底向上地检查各个结点，将其他换为叶子结点是否能得到性能上的提升。

4.4 连续与缺失

4.4.1 连续值处理

给定样本集$D$和连续属性$a$，假定$a$在$D$上出现了$n$个不同的取值，基于划分点$t$可以把$D$分为子集$D_t^{-}$和$D_t^{+}$。对于相邻的属性值来讲，$t$在$[a^i,a^{i+1})$上取任何值产生的划分结果是相同的。因此，我们可以考虑$n-1$个元素的划分点集合
T a = { a i + a i + 1 2 ∣ 1 ≤ i ≤ n − 1 } T_a=\{\frac{a^i+a^{i+1}}{2}|1\leq{i}\leq{n-1}\} Ta​={2ai+ai+1​∣1≤i≤n−1}
如此一来，我们就可以继续用信息增益来度量每个划分点的优劣
$$Gain(D,a)=\underset{t\in T_a}{\max }Ent(D)-\sum _{\lambda \in -,+}\frac{|D_t^{\lambda }|}{D}Ent(D_t^{\lambda })$$
需要注意的是，与离散属性不同，如果当前结点划分属性为连续属性，该属性还可以作为其后代结点的划分属性。

4.4.2 缺失值处理

我们要解决两个问题，(1)如何在属性值缺失的情况下进行划分属性的选择。(2)给定划分属性，如果样本在该属性上缺失，如何对样本进行划分。
令$\hat{D}$表示$D$中在$a$属性上没有缺失值的样本子集。对于问题1，我们其实可以只根据$\hat{D}$来判断属性a的优劣。假设属性$a$有$V$个可取值 { a 1 , a 2 , . . . , a V } {\{a^{1},a^2,...,a^V\}} {a1,a2,...,aV}，令${\hat{D}}^v$表示$\hat{D}$在样本$a$上取值为$a^v$的样本子集，${\hat{D}}_k$表示$\hat{D}$中属于第$k$类的样本子集，假设我们为每一个样本赋予一个权重${\omega }_x$，定义
$$\begin{gathered} \rho =\frac{{\sum }_{x\in \hat{D}}{\omega }_x}{{\sum }_{x\in D}{\omega }_x} \\ {\hat{p}}_k=\frac{{\sum }_{x\in {\hat{D}}_k}{\omega }_x}{{\sum }_{x\in D}{\omega }_x} \\ {\hat{r}}_v=\frac{{\sum }_{x\in {\hat{D}}^v}{\omega }_x}{{\sum }_{x\in D}{\omega }_x} \end{gathered}$$
基于上述定义，我们可以将信息增益的计算式扩展为
$$\begin{gathered} Gain(D,a)=\rho \times (Ent(\hat{D})-\sum _{v=1}^V{\hat{r}}_{v}Ent({\hat{D}}^v)) \\ Ent({\hat{D}}^v)=-\sum _{k=1}^{|y|}{\hat{p}}_k{\log }_2{\hat{p}}_k \end{gathered}$$

4.5 多变量决策树

决策树的分类边界是与坐标轴平行的。
多变量决策树中，非叶子结点不再是仅对于某个属性，而是对属性的线性组合进行测试。