决策树算法知识要点

1 决策树的基本概念

• 决策树(decision tree ) 是一种基本的分类与回归方法（这里主要讨论用于分类的决策树）；
• 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程
  • 可以认为是 if-then 规则的集合。
    • 由决策树的根结点到叶结点的每一条路径构建一条规则
    • 路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论
    • 决策树的路径或其对应的if-then 规则集合具有一个重要的性质：互斥并且完备
      • 即每一个实例，都只被一条路径或一条规则所覆盖
      • 这里所谓覆盖是指：实例的特征与路径上的特征一致，或实例满足规则的条件
  • 也可以认为是定义在特征空间与类空间上的条件概率分布。
    • 这一条件概率分布定义在特征空间的一个划分（partition）上
    • 将特征空间划分为互不相交的单元（cell）或区域（region），并在每个单元定义一个类的概率分布就构成了一个条件概率分布
    • 决策树的一条路径对应于划分中的一个单元
    • 决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成
    • 由于决策树表示一个条件概率分布，所以深浅不同的决策树，对应着不同复杂度的概率模型
• 决策树主要优点：模型具有可读性，分类速度快。
• 学习时，利用训练数据，根据损失函数最小化的原则，建立决策树模型。
• 预测时，对新的数据，利用决策树模型进行分类
• 决策树学习包括3 个步骤：特征选择、决策树的生成和决策树的修剪
  • 决策树的生成，对应于模型的局部选择；决策树的剪枝对应于模型的全局选择
  • 决策树的生成，只考虑局部最优；相对地，决策树的剪枝则考虑全局最优
• 决策树结构
  • 结点（node）
    • 内部结点（internal node）表示一个特证或属性
    • 叶结点（leaf node）表示一个类
  • 有向边（directed edge）
• 决策树生成过程
  • 用决策树分类，从根结点开始，对实例的某一特征进行测试
  • 根据测试结果，将实例分配到其子结点。这时，每一个子结点，对应着该特征的一个取值
  • 如此递归地对实例进行测试并分配，直至达到叶结点
  • 最后将实例分到叶结点的类中

2 特征选择

• 特征选择：选取对训练数据具有分类能力的特征

• 特征选择的准则

  • 信息增益
  • 信息增益比

• 熵（entropy）：随机变量不确定性的度量

  设$X$是一个取有限个值的离散随机变量，其概率分布为$P(X=x_i)=p_i，i=1,2,...,n$

  则随机变量$X$的熵：$H(X)=-{\sum }_{i=1}^n{p}_i\log p_i=H(p)$

  • 熵只依赖于$X$的分布， 而与$X$的取值无关
  • 此时，如果有 $0$ 概率， 令$0\log 0=0$

• 条件熵$H(Y|X)$：在已知随机变量$X$的条件下，随机变量$Y$的不确定性

  • 即：$X$给定条件下，$Y$的条件概率分布的熵，对$X$的数学期望
  • $H(Y|X)={\sum }_{i=1}^n{p}_{i}H(Y|X=x_i)$

• 经验熵 和 经验条件熵：即熵和条件熵，由数据估计〈特别是极大似然估计〉得到。

• 信息增益（information gain）表示得知特征$X$的信息，而使得类$Y$的信息的不确定性减少的程度

  • 特征$A$对训练数据集$D$的信息增益$g(D,A)$：集合$D$的经验娟$H(D)$ 与 特征$A$给定条件下$D$的经验条件娟$H(D|A)$之差
  • $g(D,A)=H(D)-H(D|A)$

• 信息增益

  • 说明：

    $D$：训练集

    $|D|$：训练集$D$的样本容量（个数）

    $C_k$：类，$k=1,2,...,K$ ，总共有$K$个类

    $|C_k|$：类$C_k$的样本个数，且${\sum }_{k=1}^K|C_k|=|D|$

    $A$：特征，有$n$个不同取值， A = { a 1 , a 2 , . . . , a i , . . . , a n } A=\{a_1,a_2,...,a_i,...,a_n\} A={a1​,a2​,...,ai​,...,an​}

    $D_i$ ：训练集$D$的子集，根据特征$A$的取值将$D$分为$n$个子集

    $|D_i|$：子集$D_i$的样本个数，且${\sum }_{k=1}^n|D_i|=|D|$

    $D_{ik}$：子集$D_i$中，属于类$C_k$的 样本 的集合，$D_{ik}=D_i\bigcap C_k$

    $|D_{ik}|$：$D_{ik}$的样本个数

  • 算法

    输入：训练集 $D$ 和特征$A$

    输出：特征$A$ 对训练集$D$ 的信息增益$g(D,A)$

    （1）数据集 $D$ 的经验熵：$H(D)=-{\sum }_{k=1}^K\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|}$

    （2）特征$A$ 对训练集$D$ 的经验条件熵：$H(D|A)={\sum }_{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\sum }_{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}$

    （3）信息增益：$g(D,A)=H(D)-H(D|A)$

• 信息增益比

  • 以信息增益作为特征选择的准则，偏向于选择 取值较多的特征，使用信息增益比（information gain ratio）可以对这一问题进行校正
  • 特征$A$ 对训练集$D$ 的信息增益比：信息增益$g(D,A)$ 与训练集$D$关于特征$A$的值的经验熵之比
    • 信息增益比：$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$，其中，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$，$n$是特征$A$取值的个数。

3 决策树的生成

• $ID3$算法

  • 在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。

  • 输入：训练数据集$D$，特征集$A$， 阈值$\epsilon$；
    输出：决策树$T$。
    （1）若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该结点的类标记，返回$T$；
    （2）若$A=\varnothing$，则$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；

    （3）否则， 计算$A$中各特征对$D$的信息增益， 选择信息增益最大的特征$A_g$；
    （4）如果$A_g$的信息增益小于阈值$\epsilon$，则置$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；
    （5）否则， 对$A_g$的每一可能值$a_i$，依$A_g=a_i$，将$D$分割为若干非空子集$D$，将$D_i$ 中实例数最大的类作为标记，构建子结点， 由结点及其子结点构成树$T$， 返回$T$；
    （6）对第$i$个子结点，以$D_i$ 为训练集，以 A − { A g } A-\{A_g\} A−{Ag​}为特征集，递归地调用
    步（1）~步（5），得到子树$T_i$，返回$T_i$。

• $C4.5$算法

  • $C4.5$算法 对$ID3$算法进行了改进，$C4.5$算法在决策树生成的过程中，用信息增益比来选择特征。

  • 输入：训练数据集$D$，特征集$A$， 阈值$\epsilon$；
    输出：决策树$T$。
    （1）若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该结点的类标记，返回$T$；
    （2）若$A=\varnothing$，则$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；

    （3）否则， 计算$A$中各特征对$D$的信息增益比， 选择信息增益比最大的特征$A_g$；
    （4）如果$A_g$的信息增益比小于阈值$\epsilon$，则置$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；
    （5）否则， 对$A_g$的每一可能值$a_i$，依$A_g=a_i$，将$D$分割为若干非空子集$D$，将$D_i$ 中实例数最大的类作为标记，构建子结点， 由结点及其子结点构成树$T$， 返回$T$；
    （6）对第$i$个子结点，以$D_i$ 为训练集，以 A − { A g } A-\{A_g\} A−{Ag​}为特征集，递归地调用步（1）~步（5），得到子树$T_i$，返回$T_i$。

4 决策树的剪枝

• 过拟合的原因：学习时，过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。

• 剪枝（pruning）：在决策树学习中将己生成的树进行简化的过程。具体地，从己生成的树上裁掉一些子树或叶结点，并将其根结点或父结点作为新的叶结点，从而简化分类树模型。

• 决策树的剪枝，往往通过 极小化 决策树整体的损失函数或代价函数来实现。

• 决策树的剪枝算法

  • 说明

    • $T$：决策树

      $|T|$：决策树$T$的叶结点个数，表示模型复杂度

      $t$：决策树$T$的叶结点

      $N_t$：叶结点$t$的样本个数，其中$k$类有$N_{tk}$个样本，$k=1,2,...,K$

  • 决策树学习的损失函数

    • 叶结点$t$上的经验熵： $H_t(T)=-{\sum }_{k=1}^K\frac{N_{tk}}{N_t}{\log }_2\frac{N_{tk}}{N_t}$

    • 损失函数$C_{\alpha }(T)={\sum }_{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$

    • 模型对训练数据的预测误差：$C(T)={\sum }_{t=1}^{|T|}{N}_t{H}_t(T)={\sum }_{t=1}^{|T|}{\sum }_{k=1}^K{N}_{tk}{\log }_2\frac{N_{tk}}{N_t}$

      • $C(T)$，即 模型与训练数据的拟合程度

    • 继而，有损失函数$C_{\alpha }(T)=C(T)+\alpha |T|$

      • 模型与训练数据的拟合程度$C(T)$ 与 模型复杂度$|T|$ ，经过参数$\alpha \ge 0$控制两者，对损失函数的影响。

  • 决策树的剪枝算法

    输入：生成算法严生的整个树$T$，参数$\alpha$；
    输出：修剪后的子树$T_{\alpha }$。
    （1）计算每个结点的经验熵
    （2）递归地从树的叶结点向上回缩。设一组叶结占回缩到其父结点之前与之后的整体树分别为$T_B$与$T_A$，其对应的损失函数值分别是$C_{\alpha }(T_B)$与$C_{\alpha }(T_A)$，如果$C_{\alpha }(T_A)\le C_{\alpha }(T_B)$ ，则进行剪枝，即将父结点变为新的叶结点；
    （3）返回（2）直至不能继续为止，得到损失函数最小的子树$T$。
    注意：步骤（2）只需考虑两个树的损失函数的差，其计算可以在局部进行，所以，决策树的剪枝算法可以由一种动态规划的算法实现。

决策树之CART算法

• CART算法三个步骤：特征选择、树的生成、树的剪枝

• CART算法：在给定输入随机变量$X$条件下，输出随机变量$Y$的条件概率分布的学习方法

  • CART 假设决策树是二叉树
  • 内部结点特征的取值为“是”和“否”。左分支是取值为"是"的分支，右分支是取值为"否"的分支
  • 这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下，输出的条件概率分布

• 回归树生成

  • 说明

    训练集$D$： D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}

    输入空间划分为$M$个单元$R_m$， m = { 1 , 2 , . . . , M } m=\{1,2,...,M\} m={1,2,...,M}

    每个单元$R_m$上有一个固定的输出值$c_m$

    回归树模型可表示为：$f(x)={\sum }_{m=1}^M{c}_{m}I(x\in R_m)$

    用平方误差来表示回归树对于训练集(划分好的单元$R_m$)的预测误差：${\sum }_{x_i\in R_m}(y_i-f(x_i){)}^2$

    单元$R_m$的输出值$c_m$的最优值${\hat{c}}_m$ ：单元$R_m$上所有输入实例$x_i$对应的输出$y_i$的均值。

    ${\hat{c}}_m=ave(y_i|x_i\in R_m)$

    对输入空间的进行划分：选择第$j$个变量$x^{(j)}$和它取的值$s$，作为切分变量（splitting variable）和切分点（splitting point），并定义两个区域 R 1 ( j , s ) = { x ∣ x j ≤ s } R_1(j,s)=\{x|x^{j}\leq s\} R1​(j,s)={x∣xj≤s}， R 2 ( j , s ) = { x ∣ x j > s } R_2(j,s)=\{x|x^{j}>s\} R2​(j,s)={x∣xj>s}