第五章 决策树

参考文献 李航 《统计学习方法》

决策树是一种基本的分类与回归方法，在此主要讨论基于分类的决策树，其模型呈现树形结构，表示基于特征对实例进行分类的过程。
主要优点：可读性，分类速度快
决策树学习的三个步骤：特征选择，决策树的生成和决策树的修剪
常用算法：ID3、C4.5和CART

决策树模型

决策树由结点和有向边组成，结点包括：叶结点和内部结点，内部结点表示一个特征或属性，叶结点表示类
决策树可被看做一个if-then的规则的集合，重要性质：互斥且完备，即每个实例都被一条路径或一条规则所覆盖，且只被一条路径或规则覆盖

决策树学习

假设给定训练数据集： D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})$，$n$为特征数， y i ∈ { 1 , 2 , . . . , K } y_i\in\{1,2,...,K\} yi​∈{1,2,...,K}为类别标记，$i=1,2,...,N$为样本容量数.
决策树的学习本质上是从训练集中归纳出一组分类规则，决策树学习是由训练数据集估计条件概率模型.
决策树学习的损失函数通常是正则化的极大似然函数.
决策树学习的策略是以损失函数为目标函数的最小化.

从所有可能的决策树中选取最优的决策树是NP完全问题，所以现实中，决策树学习算法通常采用启发式方法，近似求解这一优化问题，这样得到的决策树是次最优的
$$\Rightarrow 递归地选取次最优特征\to 依据特征对数据集进行分割\Rightarrow 决策树的构建$$
以上方法生成的决策树可能对训练数据有很好的分类能力，但是对未知的测试数据未必有很好的分类能力，即可能发生过拟合现象。我们需要对已生成的树进行自下而上的剪枝，将树变得简单具有较强的泛化能力
决策树表示一个条件概率分布$\Rightarrow$深浅不同的决策树对应着不同复杂的概率模型
决策树的生成对应于模型的局部选择，只考虑局部最优 决策树的剪枝对应于模型的全局选择，考虑全局最优

特征选择

特征选择在于选取对训练数据具有分类能力的特征（如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的）
特征选择的准则：信息增益或信息增益比
特征选择是决定使用哪个特征来划分特征空间

信息增益

信息量：某事件发生的概率小，则该事件的信息量大，$h(x)=-lo{g}_2(x)$
如果两个事件X和Y独立，即$P(XY)=P(X)P(Y)$,假设两者的信息量分别为$H(X),H(Y)$，则两者同时发生的信息量为$H(XY)=H(X)+H(Y)$

熵：表示随机变量不确定性的度量，设$X$是一个取有限个值的离散随机变量，其概率分布为：$$P(X=x_i)=p_i,i=1,2,...,n$$随机变量$X$熵的定义为
$$H(X)=-\sum _{i=1}^n{p}_{i}log{p}_i$$
熵只依赖于$X$的分布，而与$X$的取值无关，所以也可将$X$的熵记作$H(p)$,$$H(p)=-\sum _{i=1}^n{p}_{i}log{p}_i$$
熵越大，随机变量的不确定性越大，$$0\le H(p)\le logn$$

两点分布：熵为$H(p)=-plogp-(1-p)log(1-p)$,$p=0或p=1时，H(p)=0$,随机变量完全没有不确定性，$p=0.5时，H(p)=1$,熵取值最大，随机变量的不确定性越大

条件熵：条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性,设有随机变量$（X,Y）$,其联合概率分布为$$P(X=x_i,Y=y_j)=p_{ij},i=1,2,...,n;j=1,2,...,m$$,$$条件熵：H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i),p_i=P(X=x_i),i=1,2,...,n$$

联合熵：$H(X,Y)=-{\sum }_x{\sum }_{y}p(x,y)logp(x,y)$
$H(Y|X)=H(X,Y)-H(X)$,证明如下：
$$\begin{array}{rl}H(Y|X)& =H(X,Y)-H(X)\\ & =-\sum _x\sum _{y}p(x,y)logp(x,y)+\sum _{x}p(x)logp(x)\\ & =-\sum _x\sum _{y}p(x,y)logp(x,y)+\sum _y\sum _{x}p(x,y)logp(x)\\ & =-\sum _x\sum _{y}p(x,y)log\frac{p(x,y)}{p(x)}\\ & =-\sum _x\sum _{y}p(x,y)logp(y|x)\\ & =-\sum _x\sum _{y}p(y|x)p(x)logp(y|x)\\ & =-\sum _{x}p(x)\sum _{y}p(y|x)logp(y|x)\\ & =H(Y|X)\end{array}$$

当熵和条件熵中的概率有数据估计得到时，所对应的熵与条件熵分别称为经验熵和经验条件熵，且$0log0=0$

相对熵（KL散度）：两个概率分布间差异的非对称性度量$$D(p||q)=\sum _{x}p(x)log\frac{p(x)}{q(x)}$$

互信息：可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性
$$I(X,Y)=D(p(x,y)||p(x)p(y))=\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$$
$H(X|Y)=H(X)-I(X,Y),I(X,Y)=H(X)-H(X|Y)$，证明如下：
$$\begin{array}{rl}H(X|Y)& =H(X)-I(X,Y)\\ & =-\sum _{x}p(x)logp(x)-\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}\\ & =-\sum _y\sum _{x}p(x,y)logp(x)-\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}\\ & =-\sum _x\sum _{y}p(x,y)log\frac{p(x,y)}{p(y)}\\ & =-\sum _x\sum _{y}p(x,y)logp(x|y)\\ & =H(X|Y)\end{array}$$

决策树学习中的信息增益等价于训练数据集中类与特征的互信息，特征$A$对训练数据集$D$的信息增益定义为$g(D,A)$,$$g(D,A)=H(D)-H(D|A)$$

信息增益的算法

输入：训练数据集$D$和特征$A$
输出：特征$A$对训练数据集$D$的信息增益$g(D,A)$
（1）计算数据集$D$的经验熵$H(D)$,$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}log\frac{|C_k|}{|D|}$$
（2）计算特征$A$对数据集$D$的经验条件熵$H(D|A)$,
$$\begin{array}{rl}H(D|A)& =-\sum _{i,k}p(D_k,A_i)logp(D_k|A_i)\\ & =-\sum _{i,k}p(A_i)p(D_k|A_i)logp(D_k|A_i)\\ & =-\sum _{i}p(A_i)\sum _{k}p(D_k|A_i)logp(D_k|A_i)\\ & =-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{D_i}log\frac{|D_{ik}|}{D_i}\end{array}$$
（3）计算信息增益 $g(D,A)=H(D)-H(D|A)$

符号说明：$$\begin{gathered} |D|表示样本容量，设有K个类C_k,|C_k|为属于C_k的样本数，\sum _{k=1}^K|C_k|=|D|, \\ 特征A有n个不同的取值，根据特征A将数据集划分为n个子集，D_1,D_2....,D_n,\sum _{i=1}^n|D_i|=|D|, \\ 记子集D_i中属于类C_k的样本的集合为D_{ik},即D_{ik}=D_i\cap C_k,|D_{ik}|为D_{ik}的样本数 \end{gathered}$$

信息增益比

信息增益作为划分训练数据集的特征，存在偏向于选取值较多的特征，使用信息增益比可以对这一问题进行校正
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)},H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}log\frac{|D_i|}{|D|}$$

ID3 算法

输入：数据集D,特征集A，阈值$\epsilon$
输出：决策树T
（1）若D中的所有实例属于同一类$C_k$,则T为单结点树，并将类$C_k$作为该结点的类标记，返回T;
（2）若$A=\varnothing$，则T为单结点树，并将D中实例数最大的类$C_k$作为该结点的类标记，返回T;
（3）否则，计算A中的各个特征对D的信息增益，选择信息增益最大的特征$A_g$;
（4）如果$A_g$的信息增益小于阈值$\epsilon$ ，则置T为单结点树，并将D中实例数最大的类作为该结点的类标记，返回T;
（5）否则，对$A_g$的每一个可能的值$a_i$,依照$A_g=a_i$将D分割为若干非空子集$D_i$,将子集$D_i$中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树T,返回T;
（6）对第$i$个子结点，以$D_i$为训练集，以$A-A_g$为特征集，递归地执行（1）-（5），得到子树$T_i$,返回$T_i$.

ID4.5 算法

输入：数据集$D$,特征集$A$，阈值$\epsilon$
输出：决策树$T$
（1）若D中的所有实例属于同一类$C_k$,则T为单结点树，并将类$C_k$作为该结点的类标记，返回T;
（2）若$A=\varnothing$，则T为单结点树，并将D中实例数最大的类$C_k$作为该结点的类标记，返回T;
（3）否则，计算A中的各个特征对D的信息增益比，选择信息增益比最大的特征$A_g$;
（4）如果$A_g$的信息增益比小于阈值$\epsilon$ ，则置T为单结点树，并将D中实例数最大的类作为该结点的类标记，返回T;
（5）否则，对$A_g$的每一个可能的值$a_i$,依照$A_g=a_i$将D分割为若干非空子集$D_i$,将子集$D_i$中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树T,返回T;
（6）对第$i$个子结点，以$D_i$为训练集，以$A-A_g$为特征集，递归地执行（1）-（5），得到子树$T_i$,返回$T_i$.
ID4.5 算法 与 ID3 算法相似，只是在生成过程中使用信息增益比来选择特征

决策树的剪枝

过拟合现象：对训练数据的分类很准确，而对未知的测试数据的分类并没有那么的准确
过拟合的原因：学习时过多地考虑如何提高对训练数据的正确分类，从而构造出过于复杂的决策树
解决办法：对已经生成的复杂的决策树进行简化—剪枝（pruning）
决策树的剪枝：通过极小化决策树的整体的损失函数或者代价函数来实现的$$C_{\alpha }(T)=C(T)+\alpha T$$
其中$C(T)$表示模型的预测误差，$|T|$表示树的复杂度，当$\alpha =0$时不考虑模型的复杂度，$\alpha$越大，单根结点的模型复杂度越小

CART算法

分类与回归树（classification and regression tree, CART）
CART算法：
（1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；
（2）决策树的剪枝：用验证数据集对已经生成的树进行剪枝并选择最优子树（损失函数最小作为剪枝的标准）

CART生成

决策树的生成是递归地构建二叉决策树的过程，对回归树使用平方误差最小化准则，对分类树使用基尼指数最小化准则

最小二乘回归树生成算法

输入:训练数据集$D$;
输出：回归树$f(x)$
在训练数据集所在的输入空间中，递归地将每个区域划分成两个子区域并决定每个子区域的输出值，构建二叉决策树
（1）选择最优且切分变量$j$与切分点$s$，求解
$$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
遍历变量$j$，对固定的切分变量$j$扫描切分点$s$,选择上式最小值的对$(j,s)$
（2）用选定的$(j,s)$划分区域并决定相应的输出值：
R 1 ( j , s ) = { x ∣ x ( j ) } ≤ s , R 2 ( j , s ) = { x ∣ x ( j ) } > s R_1(j,s)=\{x|x^{(j)}\} \leq s, R_2(j,s)=\{x|x^{(j)}\} > s R1​(j,s)={x∣x(j)}≤s,R2​(j,s)={x∣x(j)}>s
$${\hat{c}}_m=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i,x\in R_m,m=1,2$$
（3）继续对两个子区域调用步骤（1），（2），直至满足停止条件
（4）将输入空间划分为M个区域$R_1,R_2,...,R_M$，生成决策树.

基尼指数

$Gini(D)$表示集合$D$的不确定性，基尼指数越大，样本集合的不确定性越大，与熵相似
分类问题中，假设有K个类，样本点属于第k类的概率为$p_k$,则概率分布的基尼指数定义为$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$
example:二分类问题中，属于第一类的概率为p,则$$Gini(p)=2p(1-p)$$
对于给定的样本集合D,其基尼指数为$$Gini(D)=1-\sum _{k=1}^K(\frac{|C_k|}{D}{)}^2,C_k表示D中属于第k类的样本子集$$
如果样本集合依据某一特征A划分成$D_1,D_2$两部分，即 D 1 = { ( x , y ) ∈ D ∣ A = a } , D 2 = D − D 1 D_1=\{(x,y)\in D | A=a\},D_2=D-D_1 D1​={(x,y)∈D∣A=a},D2​=D−D1​,则在特征A的条件下，集合D的基尼指数为
$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$

CART生成算法

输入：训练数据集$D$, 停止计算条件
输出：CART决策树$T$
根据训练数据集，从根节点开始，递归地对每个结点进行以下操作，构建二叉决策树：
（1）计算现有特征对数据集的基尼指数；
（2）在所有可能的特征以及所有可能的切分点中选择基尼指数最小的特征及其切分点作为最优特征与最优切分点，依照最优特征与最优切分点，从现在的结点生成两个子结点，将训练数据集依特征分配到两个子结点中去；
（3）对两个子结点递归调用（1），（2）,直至满足停止条件;
（4）生成CART决策树