05.决策树公式推导

ID3决策树

信息熵，是度量样本集合纯度最常用的一种指标，其定义如下
$$Ent(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k$$
其中 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) } D=\left \{ (x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{n},y_{n}) \right \} D={(x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)}表示样本集合，$|\mathcal{Y}|$表示样本类别总数，如果是二分类，就是2，$p_k$表示第$k$类样本所占比例，且$0\le p_k\le 1,{\sum }_{k=1}^{|\mathcal{Y}|}{p}_k=1$，$Ent(D)$值越小，纯度越高

证明：$0\le Ent(D)\le {\log }_2|\mathcal{Y}|$

求$Ent(D)$最大值，若令$|\mathcal{Y}|=n,p_k=x_k$，则是一个n分类问题，那么信息熵$Ent(D)$就可以看作一个n元实值函数，也即
$$Ent(D)=f(x_1,x_2,\cdots ,x_n)=-\sum _{k=1}^n{x}_k{\log }_2{x}_k$$
$0\le x_k\le 1,{\sum }_{k=1}^n{x}_k=1$,下面考虑求该多元函数的最值

如果不考虑约束$0\le x_k\le 1$,仅考虑${\sum }_{k=1}^n{x}_k=1$的话，对$f(x_1,x_2,\cdots ,x_n)$求最大值等价于如下最小化问题
$$\begin{gathered} min\sum _{k=1}^n{x}_k{\log }_2{x}_k \\ s.t.\sum _{k=1}^n{x}_k=1 \end{gathered}$$
${\sum }_{k=1}^n{x}_k{\log }_2{x}_k$可以看成是n个$x{\log }_{2}x$求和

单独看其中一个函数，记$f(x)=xlo{g}_{2}x$，则
$$\begin{gathered} f^{\prime }(x)=lo{g}_{2}x+x\cdot \frac{1}{x\ln 2}=lo{g}_{2}x+\frac{1}{\ln 2} \\ {f}^{\prime \prime }(x)=\frac{1}{x\ln 2} \end{gathered}$$
当$0\le x\le 1$,$f^{\prime \prime }(x)>0$,所以$f(x)$是凸函数，由n个$f(x)$组合而成的${\sum }_{k=1}^n{x}_k{\log }_2{x}_k$函数也是凸函数

在$0\le x_k\le 1$时，此问题为凸优化问题，而对于凸优化问题来说，满足KKT条件的点即为最优解，由于此最小化问题仅含等式约束，那么令其拉格朗日函数的一阶偏导数等于0的点即为满足KKT条件的点

根据拉格朗日乘子法可知，该优化问题的拉格朗日函数为
$$L(x_1,\cdots ,x_n,\lambda )=\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)$$
对该拉格朗日函数分别关于$x_1,\cdots ,x_n,\lambda$求一阶偏导数，并令偏导数等于0

先对$x_1$求偏导等于0
$$\begin{array}{rl}\frac{\partial L(x_1,\cdots ,x_n,\lambda )}{\partial x_1}& =\frac{\partial }{\partial x}\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\right]\\ & =lo{g}_2{x}_1+x_1\cdot \frac{1}{x_1\ln 2}+\lambda \\ & =lo{g}_2{x}_1+\frac{1}{\ln 2}+\lambda =0\end{array}$$
得
$$\lambda =-lo{g}_2{x}_1-\frac{1}{\ln 2}$$
然后分别对$x_2,\cdots ,x_n$分别求偏导，可得
$$\lambda =-lo{g}_2{x}_1-\frac{1}{\ln 2}=-lo{g}_2{x}_2-\frac{1}{\ln 2}=\cdots =-lo{g}_2{x}_n-\frac{1}{\ln 2}$$
对$\lambda$求偏导
$$\frac{\partial L(x_1,\cdots ,x_n,\lambda )}{\partial \lambda }=\frac{\partial }{\partial \lambda }\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\right]=\sum _{k=1}^n{x}_k-1$$
令其等于0得
$$\sum _{k=1}^n{x}_k=1$$
所以可以解得$x_1=x_2=\cdots =x_n=\frac{1}{n}$ (因为$x_1=x_2=\cdots =x_n$且${\sum }_{k=1}^n{x}_k=1$)

又因为$x_k$还要满足$0\le x_k\le 1$，显然$0\le \frac{1}{n}\le 1$，所以$x_1=x_2=\cdots =x_n=\frac{1}{n}$是满足所有约束的最优解，也即为当前最小化问题的最小值点，同时也是$ f(x_{1},x_{2},\cdots,x_{n})$的最大值点，将$x_{1} = x_{2} = \cdots = x_{n} = \frac{1}{n}$代入$ f(x_{1},x_{2},\cdots,x_{n})$中可得
$$f(\frac{1}{n},\frac{1}{n},\cdots ,\frac{1}{n})=-\sum _{k=1}^n\frac{1}{n}{\log }_2\frac{1}{n}=-n\cdot \frac{1}{n}\cdot {\log }_2\frac{1}{n}={\log }_{2}n$$
所以$ f(x_{1},x_{2},\cdots,x_{n})$在满足约束$0\le x_k\le 1,{\sum }_{k=1}^n{x}_k=1$时的最大值为${\log }_{2}n$

求$Ent(D)$的最小值

如果不考虑${\sum }_{k=1}^n{x}_k=1$,仅考虑$leq{x}_k\le 1$的话，$ f(x_{1},x_{2},\cdots,x_{n})$可以看成是n个互不相关的一元函数加和，也即
$$f(x_1,x_2,\cdots ,x_n)=\sum _{k=1}^{n}g(x_k)$$
其中，$g(x_k)=-x_k{\log }_2{x}_k$，$0\le x_k\le 1$，那么当$g(x_1),g(x_2),\cdots ,g(x_k)$分别取到其最小值时，$f(x_1,x_2,\cdots ,x_n)$也就取到了最小值，由于$g(x_1),g(x_2),\cdots ,g(x_k)$的定义域和函数表达式均相同，所以只需求出$g(x_1)$的最小值也就求出了$g(x_2),\cdots ,g(x_k)$的最小值，下面考虑求$g(x_1)$的最小值

首先对$g(x_1)$关于$x_1$求一阶和二阶导数
$$\begin{gathered} g^{\prime }(x_1)=-lo{g}_2{x}_1-x_1\cdot \frac{1}{x_1\ln 2}=-lo{g}_2{x}_1-\frac{1}{\ln 2} \\ {g}^{\prime \prime }(x_1)=-\frac{1}{x_1\ln 2} \end{gathered}$$
显然，当$0\le x_k\le 1$时$g^{\prime \prime }(x_1)=-\frac{1}{x_1\ln 2}$恒小于0，所以$g(x_1)$是一个在其定义域范围内开口向下的凹函数，那么其最小值必定在边界取，于是分别取$x_1=0$和$x_1=1$代入$g(x_1)$得
$$\begin{gathered} g(0)=-0{\log }_{2}0=0 \\ g(1)=-lo{g}_{2}1=0 \end{gathered}$$
所以，$g(x_1)$的最小值为0，同理可得$g(x_2),\cdots ,g(x_k)$的最小值也为0，那么$ f(x_{1},x_{2},\cdots,x_{n})$的最小值也为0，但是，此时是仅考虑$0\le x_k\le 1$时取到的最小值，若考虑约束${\sum }_{k=1}^n{x}_k=1$的话，那么$ f(x_{1},x_{2},\cdots,x_{n})$的最小值一定大于等于0，如果令某个$x_{k}=1$，那么根据约束$\sum_{k=1}^{n}x_{k} = 1$可知$x_{1} = x_{2} = \cdots = x_{k-1} = x_{k+1} = \cdots = x_{n} = 0$，将其代入$ f(x_{1},x_{2},\cdots,x_{n})$可得
$$f(0,0,\cdots ,1,0,\cdots ,0)=-0{\log }_{2}0--0{\log }_{2}0-\cdots -{\log }_{2}1--0{\log }_{2}0-\cdots -0{\log }_{2}0=0$$
所以$x_k=1,x_1=x_2=\cdots =x_{k-1}=x_{k+1}=\cdots =x_n=0$一定是$ f(x_{1},x_{2},\cdots,x_{n})$在满足约束$0\le x_k\le 1,{\sum }_{k=1}^n{x}_k=1$ 的条件下的最小值，其最小值为0

条件熵：在已知样本属性a的取值情况下，度量样本集合纯度的一种指标
$$H(D|a)=\sum _{v=1}^V\frac{|D^v|}{D}Ent(D^v)$$
其中，$a$表示样本的某个属性，假定属性$a$有$V$个可能的取值$\left\{a^1,a^2,\cdots ,a^V\right\}$，样本集合$D$中在属性$a$上取值为$a^V$的样本记为$D^V$,$Ent(D^V)$表示样本集合$D^v$的信息熵，$H(D|a)$值越小，纯度越高

ID3决策树，已信息增益为准则来选择划分属性的决策树，信息增益公式为
$$\begin{array}{rl}Gain(D,a)& =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{D}Ent(D^v)\\ & =Ent(D)-H(D|a)\end{array}$$
选择信息增益值最大的属性作为划分属性，因为信息增益越大，则意味着使用该属性来进行划分所获得的"纯度提升"越大

以信息增益为划分标准的ID3决策树对可取值越多数目较多的属性有所偏好
$$\begin{array}{rl}Gain(D,a)& =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{D}Ent(D^v)\\ & =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{D}(-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k)\\ & =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{D}(-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k)\frac{|D_k^v|}{D^v}\end{array}$$
其中，$D_k^v$样本集合$D$中在属性$a$上取值为$a^v$且类别为$k$的样本

C4.5决策树

C4.5决策树以信息增益率为准则来选择划分属性的决策树，信息增益率
$$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$$
其中
$$IV(a)=-\sum _{v=1}^V\frac{|D^v|}{D}{\log }_2\frac{|D^v|}{D}$$

CART决策树

CART决策树以基尼指数为准则来选择划分属性的决策树

基尼值：
$$Gini(D)=\sum _{k=1}^{|\mathcal{Y}|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\sum _{k^{\prime }\ne k}{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k(1-p_k)=1-\sum _{k=1}^{|\mathcal{Y}|}{p}_k^2$$
基尼指数：
$$Gini\_index(D,a)=\sum _{v=1}^V\frac{|D^v|}{D}Gini(D^v)$$
基尼值和基尼指数越小，样本集合纯度越高

CART决策树分类算法

1. 根据基尼指数公式$Gini\_index(D,a)={\sum }_{v=1}^V\frac{|D^v|}{D}Gini(D^v)$找出基尼指数最小的属性$a_{\ast }$
2. 计算属性$a_{\ast }$的所有可能取值的基尼值$Gini(D^v)$,$v=1,2,\cdots V$,选择季妮志最小的取值$a_{\ast }^v$作为划分点，将集合$D$划分为$D1$和$D2$两个集合(节点)，其中$D1$集合的样本为$a_{\ast }=a_{\ast }^v$的样本，$D2$集合为$a_{\ast }\ne a_{\ast }^v$的样本
3. 对集合$D1$和$D2$重复步骤1和步骤2，直到满足停止条件

CART决策树回归算法

1. 根据以下公式找出最优划分特征$a^{\ast }$和最优划分点$a_{\ast }^v$
   $$a_{\ast },a_{\ast }^v=\underset{a,a^v}{\mathrm{argmin}}\left[\underset{c_1}{\min }\sum _{x_i\in D_1(a,a^v)}(y_i-c_1{)}^2-\underset{c_2}{\min }\sum _{x_i\in D_2(a,a^v)}(y_i-c_2{)}^2\right]$$
   其中，$D_1(a,a^{\ast })$表示在属性$a$上取值小于等于$a^v$的样本集合，$D_2(a,a^v)$表示在属性$a$上取值大于$a^v$的样本集合，$c_1$表示$D_1$的样本输出均值，$c_2$表示$D_2$的样本输出均值

2. 根据划分点$a_{\ast }^v$将集合$D$划分为$D_1$和$D_2$两个集合(节点)

3. 对集合$D_1$和$D_2$重复步骤1和步骤2，直至满足停止条件