决策树Decision Tree

决策树

既可以应用于分类问题，也可以应用于回归问题。

应用

优点

1. 非线性
2. 交叉效应
3. 稀疏性

缺点

1. 不稳定
2. 表现力较差
3. 精度不足

伪代码

def TreeGenerate(D, A):
    生成节点node
    if D中样本全属于类别C:
        将node标记为C类叶节点
        return
    if A = ∅ or D中样本在A上取值相同:
        将node标记为D中样本数最多的类叶节点
        return       
    从A中选择最优划分属性a
    for a_v in a:
        为node生成一个分支;令Dv表示D中在a上取值为a_v的样本子集
        if Dv = ∅:
            将node标记为D中样本数最多的类叶节点
        else:
            以TreeGenerate(Dv, A\{a})为分支节点

三种终止递归条件：

1. 当前节点包含样本属于同一类，无需划分
2. 当前属性集合为空，或所有样本在所有属性上取值相同，无法划分
3. 当前节点包含的样本集合为空，不能划分

划分选择

信息增益 Info Gain

$p_k$ 是k类别在整体中所占比例。

信息熵 $Ent(D)=-{\sum }_{k=1}^K{p}_{k}lo{g}_2(p_k)$

信息熵的值越小，D的纯度越高。假设离散属性a有V个可能的取值，$a_1,a_2,...,a_V$, 若使用a来对样本D进行划分，会产生V个分支节点。计算属性a对样本集D进行划分得到的信息增益。

$Gain(D,a)=Ent(D)-{\sum }_{v=1}^V\frac{D_v}{D}Ent(D_v)$

ID3决策树算法就是用信息增益为准则来选择划分属性。但是这种算法对可取值数目较多的属性有所偏好。

增益率 Gain Ratio

$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$

其中$IV(a)={\sum }_{v=1}^V\frac{|D_v|}{|D|}lo{g}_2\frac{|D_v|}{|D|}$被称为a的固有值。

C4.5决策树算法利用增益率来选择最优划分属性。

基尼指数 Gini Index

Gini(D)反映从数据集D中随机抽取两样本，其类别标记不一致的概率。因此Gini(D)越小，数据集D的纯度越高。

Gini impurity $Gini(D)=1-{\sum }_{k=1}^K{p}_k^2$

属性a的基尼指数 $ Gini_index(D, a) = \sum_{v=1}^V \frac{|D_v|}{|D|}Gini(D_v)$

选择使得划分后基尼指数最小的属性$a^{\ast }=argmi{n}_{a\in A}Gini\_index(D,a)$

sklearn中使用的CART算法就是用Gini impurity做指标。

精度提升方法

剪枝处理是缓和过拟合的主要手段。基本策略有预剪枝和后剪枝。

预剪枝

在决策树生成过程中，若当前节点的划分不能带来泛化性能提升，则停止划分。预剪枝使得决策树的很多分支都没有展开，降低了过拟合风险，减少了训练和测试时间。不过，有些分支的当前划分虽不能提升泛化性能，但是在其基础上进行的后续划分却有可能导致性能显著提高，带来了欠拟合的风险。

后剪枝

训练集生成的一棵完整决策树自下而上对节点进行考察，如果该节点对应子树替换为叶节点能带来决策树泛化性能提升，则将该子树替换为叶节点。欠拟合风险很小，不过训练时间要比不剪枝大得多。

连续值

连续属性离散化。最简单的策略就是采用二分法。给定样本集D和连续属性a，将该属性所有值排序。基于划分点t可将D分为$D_t^{-}$和$D_t^{+}$。之后我们可以计算信息增益来确定合适的分割点。

需要注意的是，与离散属性不同，若当前节点划分属性是连续属性，该属性还可作为其后代节点的划分属性。

缺失值处理

给定训练集D和属性a，用$\tilde{D}$表示D中在属性a上没有缺失值的样本。为了解决在有属性值缺失的情况下进行属性划分，可以给每一个样本x赋予一个权重$w_x$。

$\rho =\frac{{\sum }_{x\in \tilde{D}}{w}_x}{{\sum }_{x\in D}{w}_x}$表示无缺失值样本所占比例

${\tilde{p}}_k=\frac{{\sum }_{x\in {\tilde{D}}_k}{w}_x}{{\sum }_{x\in \tilde{D}}{w}_x}$表示无缺失值样本中第k类所占比例

${\tilde{r}}_v=\frac{{\sum }_{x\in {\tilde{D}}_v}{w}_x}{{\sum }_{x\in \tilde{D}}{w}_x}$表示无缺失值样本中在属性a上取值是$a_v$的样本所占比例

我们可以将信息增益的计算式推广成

$Gain(D,a)=\rho \ast Ent(\tilde{D})-\rho \ast {\sum }_{v=1}^V{\tilde{r}}_{v}Ent({\tilde{D}}_v)$

为了解决特定样本在该属性上的值缺失时的样本划分问题，让这个样本以不同的概率划入到不同的子节点中去。

多变量决策树

可以对分类边界进行不是沿着平行轴的方向进行划分的或者进行其他复杂划分的决策树。

Reference

• 《美团机器学习实践》by美团算法团队，第三章
• 《机器学习》by周志华，第三、四章
• 白板推导系列，shuhuai007