西瓜书——决策树笔记

决策树

Lei_ZM
2019-09-21

---

---

1. 信息熵与条件熵

1.1. 信息熵

度量样本集合纯度最常用的一种指标，其含义如下：

$$\mathrm{Ent}(D)=-\sum _{k=1}^{|y|}{p}_k{\log }_2{p}_k$$

其中， D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } D=\{(x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{m},y_{m})\} D={(x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)}表示样本集合，$|\mathcal{Y}|$表示样本类别总数，$p_k$表示第$k$类样本所占的比例，且$0\le p_k\le 1$，${\sum }_{k=1}^{|\mathcal{Y}|}{p}_k=1$。$\mathrm{Ent}(D)$值越小，纯度越高。

证明：$0\le \mathrm{Ent}(D)\le 、{\log }_2|\mathcal{Y}|$

求$\mathrm{Ent}(D)$最大值：

若令$|\mathcal{Y}|=n$，$p_k=x_k$，那么信息熵$\mathrm{Ent}(D)$就可以看作一个$n$元实值函数，也即：

$$\mathrm{Ent}(D)=f\left(x_1,\dots ,x_n\right)=-\sum _{k=1}^n{x}_k{\log }_2{x}_k$$

其中，$0\le x_k\le 1$，${\sum }_{k=1}^n{x}_k=1$，下面考虑求该多元函数的最值。

如果不考虑约束$0\le x_k\le 1$，仅考虑${\sum }_{k=1}^n{x}_k=1$的话，对$f\left(x_1,x_2,\cdots ,x_n\right)$求最大值等价于如下最小化问题：

$$\begin{array}{ll}\min & {\sum }_{k=1}^n{x}_k{\log }_2{x}_k\\ \text{ s.t. }& {\sum }_{k=1}^n{x}_k=1\end{array}$$

显然，在$0\le x_k\le 1$时，此问题为凸优化问题，而对于凸优化问题来说，满足KKT条件的点即为最优解。由于此最小化问题仅含等式约束，那么能令其拉格朗日函数的一阶偏导数等于0的点即为满足KKT条件的点。

根据拉格朗日乘子法可知，该优化问题的拉格朗日函数为：

$$L\left(x_1,\dots ,x_n,\lambda \right)=\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)$$

对拉格朗日函数分别关于$x_1,\dots ,x_n,\lambda$求一阶偏导数，并令偏导数等于0可得：

$$\begin{array}{rl}\frac{\partial L\left(x_1,\dots ,x_n,\lambda \right)}{\partial x_1}& =\frac{\partial }{\partial x_1}\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)\right]=0\\ & ={\log }_2{x}_1+x_1\cdot \frac{1}{x_1\ln 2}+\lambda =0\\ & ={\log }_2{x}_1+\cdot \frac{1}{\ln 2}+\lambda =0\\ & \Rightarrow \lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}\end{array}$$

同理可得：

$$\lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}=-{\log }_2{x}_2-\frac{1}{\ln 2}=\cdots ==-{\log }_2{x}_n-\frac{1}{\ln 2}$$

又因为：

$$\begin{array}{rl}\frac{\partial L\left(x_1,\dots ,x_n,\lambda \right)}{\partial x_1}& =\frac{\partial }{\partial \lambda }\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)\right]=0\\ & \Rightarrow \sum _{k=1}^n{x}_k=1\end{array}$$

所以可以解得：

$$x_1=x_2=\cdots =x_n=\frac{1}{n}$$

又因为$x_k$还需满足约束$0\le x_k\le 1$，显然$0\le \frac{1}{n}\le 1$，所以$x_1=x_2=\cdots =x_n=\frac{1}{n}$是满足所有约束的最优解，也即为当期最小化问题的最小值点，同时也是$f\left(x_1,x_2,\cdots ,x_n\right)$的最大值点。将$x_1=x_2=\cdots =x_n=\frac{1}{n}$代入$f\left(x_1,x_2,\cdots ,x_n\right)$中可得：

$$f\left(\frac{1}{n},\dots ,\frac{1}{n}\right)=-\sum _{k=1}^n\frac{1}{n}{\log }_2\frac{1}{n}=-n\cdot \frac{1}{n}{\log }_2\frac{1}{n}={\log }_{2}n$$

所以$f\left(x_1,x_2,\cdots ,x_n\right)$在满足约束$0\le x_k\le 1$，${\sum }_{k=1}^n{x}_k=1$时的最大值为${\log }_{2}n$。

求$\mathrm{Ent}(D)$最小值：

如果不考虑约束$0\le x_k\le 1$，仅考虑${\sum }_{k=1}^n{x}_k=1$的话，$f\left(x_1,x_2,\cdots ,x_n\right)$可以看做是$n$个互不相关的一元函数的加和，也即：

$$f\left(x_1,x_2,\dots ,x_n\right)=\sum _{k=1}^{n}g\left(x_k\right)$$

其中，$g\left(x_k\right)=-x_k{\log }_2{x}_k$，$0\le x_k\le 1$。那么当$g\left(x_1\right),g\left(x_2\right),\cdots ,g\left(x_n\right)$分别取到其最小值时，$f\left(x_1,x_2,\cdots ,x_n\right)$也就取到了最小值。由于$g\left(x_1\right),g\left(x_2\right),\cdots ,g\left(x_n\right)$的定义域和函数表达式均相同，所以只需求出$g\left(x_1\right)$的最小值也就求出了$g\left(x_2\right),\cdots ,g\left(x_n\right)$的最小值。下面考虑求$g\left(x_1\right)$的最小值。

首先对$g\left(x_1\right)$关于$x_1$求一阶和二阶导数：

$$\begin{gathered} g^{\prime }\left(x_1\right)=\frac{d\left(-x_1{\log }_2{x}_1\right)}{d{x}_1}=-{\log }_2{x}_1-x_1\cdot \frac{1}{x_1\ln 2}=-{\log }_2{x}_1-\frac{1}{\ln 2} \\ {g}^{\prime \prime }\left(x_1\right)=\frac{d\left(g^{\prime }\left(x_1\right)\right)}{d{x}_1}=\frac{d\left(-{\log }_2{x}_1-\frac{1}{\ln 2}\right)}{d{x}_1}=-\frac{1}{x_1\ln 2} \end{gathered}$$

显然，当$0\le x_k\le 1$时，$g^{\prime \prime }\left(x_1\right)=-\frac{1}{x_1\ln 2}$恒小于0，所以$g\left(x_1\right)$是在其定义域范围内开口向下的凹函数，那么其最小值必然在边界取，于是分别取$x_1=0$和$x_1=1$，代入$g\left(x_1\right)$可得：

$$\begin{gathered} g(0)=-0{\log }_{2}0=0 \\ g(1)=-1{\log }_{2}1=0 \end{gathered}$$

所以，$g\left(x_1\right)$的最小值为0，同理可得$g\left(x_2\right),\cdots ,g\left(x_n\right)$最小值也为0，那么$f\left(x_1,x_2,\dots ,x_n\right)$的最小值此时也为0.但是，此时是仅考虑$0\le x_k\le 1$时取到的最小值，若考虑约束${\sum }_{k=1}^n{x}_k=1$的话，那么$f\left(x_1,,x_2,\dots ,x_n\right)$的最小值一定大于等于0。如果令某个$x_k=1$，那么根据约束${\sum }_{k=1}^n{x}_k=1$可知$x_1=x_2=\cdots =x_{k-1}=x_{k+1}=\cdots =x_n=0$，将其代入$f\left(x_1,x_2,\dots ,x_n\right)$可得：

$$f(0,0,\cdots ,0,1,0,\cdots ,0)=-0lo{g}_{2}0-1lo{g}_{2}1-\cdots -0lo{g}_{2}0-1lo{g}_{2}1-0lo{g}_{2}0-\cdots -0lo{g}_{2}0=0$$

所以$x_1=x_2=\cdots =x_{k-1}=x_{k+1}=\cdots =x_n=0$一定是$f\left(x_1,x_2,\dots ,x_n\right)$在满足约束$0\le x_k\le 1$，${\sum }_{k=1}^n{x}_k=1$的条件下的最小值点，其最小值为0。

---

1.2. 条件熵

在已知样本属性$a$的取值情况下，度量样本集合纯度的一种指标。

$$H(D|a)=\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)$$

其中，$a$表示样本的某个属性，假定属性$a$有$V$个可能的取值 { a 1 , a 2 , ⋯   , a V } \{a_{1},a_{2},\cdots,a_{V}\} {a1​,a2​,⋯,aV​}，样本集合$D$中在属性$a$上的取值为$a^v$的样本即为$D^v$，$\mathrm{Ent}\left(D^v\right)$表示样本集合$D^v$的信息熵。$H(D|a)$值越小，纯度越高

2. ID3决策树

以信息增益为准则来选择划分属性的决策树

信息增益：

$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)\\ & =\mathrm{Ent}(D)-H(D|a)\end{array}$$

选择信息增益最大的属性作为划分属性，因为信息增益越大，则意味着使用该属性来进行划分所获得的“纯度”提升越大。

举个例子比喻
信息增益：$\mathrm{Gain}(D,a)$：减了多少肥
信息熵：$\mathrm{Ent}(D)=-{\sum }_{k=1}^{|y|}{p}_k{\log }_2{p}_k$：减肥前的体重
条件熵：$H(D|a)={\sum }_{v=1}^V\frac{|D^v|}{|D|}\mathrm{Ent}\left(D^v\right)$：在做了某项减肥运动后$a$的情况下减肥后的体重
信息增益越大，则说明做该项运动“所减的肥”越大

以信息增益为划分准则的ID3决策树对可取值数目较多的属性有所偏好

$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\left(-\sum _{k=1}^{|y|}{p}_k{\log }_2{p}_k\right)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\left(-\sum _{k=1}^{|\mathcal{V}|}\frac{\left|D_k^v\right|}{\left|D^v\right|}{\log }_2\frac{\left|D_k^v\right|}{\left|D^v\right|}\right)\end{array}$$

其中，$D_k^v$样本集合$D$中在属性$a$上取值为$a^v$且类别为$k$的样本。

---

---

3. C4.5决策树

以信息增益率为准则来选择划分属性的决策树。

信息增益率：

$$\begin{array}{rl}\text{ Gain-ratio }(D,a)& =\frac{\mathrm{Gain}(D,a)}{\mathrm{IV}(a)}\\ & =\frac{\mathrm{Ent}(D)-{\sum }_{v=1}^V\frac{|D^v|}{|D|}\mathrm{Ent}\left(D^v\right)}{-{\sum }_{v=1}^V\frac{|D^v|}{|D|}{\log }_2\frac{|D^v|}{|D|}}\\ & =\frac{-{\sum }_{k=1}^{|y|}{p}_{k_D}{\log }_2{p}_{k_D}-{\sum }_{v=1}^V\frac{|D^v|}{|D|}\left(-{\sum }_{k=1}^{|y|}{p}_{k_{D^v}}{\log }_2{p}_{k_{D^v}}\right)}{-{\sum }_{v=1}^V\frac{|D^v|}{|D|}{\log }_2\frac{|D^v|}{|D|}}\\ & =\frac{-{\sum }_{k=1}^{|y|}\frac{|D_k|}{|D|}{\log }_2\frac{|D_k^v|}{|D|}-{\sum }_{v=1}^V\frac{|D^v|}{|D|}\left(-{\sum }_{k=1}^{|y|}\frac{|D_k^v|}{|D^v|}{\log }_2\frac{|D_k^v|}{|D^v|}\right)}{-{\sum }_{v=1}^V\frac{|D^v|}{|D|}{\log }_2\frac{|D^v|}{|D|}}\end{array}$$

---

---

4. CART决策树

以基尼指数为准则来选择划分属性的决策树。

基尼值：

$$\mathrm{Gini}(D)=\sum _{k=1}^{|\mathcal{Y}|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\sum _{k^{\prime }\ne k}{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\left(1-p_k\right)=1-\sum _{k=1}^{|\mathcal{Y}|}{p}_k^2$$

基尼指数：

$$\mathrm{Gini}\mathrm{index}(D,a)=\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Gini}\left(D^v\right)$$

基尼值和基尼指数越小，样本集合纯度越高。

CART决策树分类算法：

1. 根据基尼指数公式$\mathrm{Gini}\mathrm{index}(D,a)={\sum }_{v=1}^V\frac{|D^v|}{|D|}\mathrm{Gini}\left(D^v\right)$找出基尼指数最小的属性$a_{\ast }$。

2. 计算属性$a_{\ast }$的所有可能取值的基尼值$\mathrm{Gini}(D^v)$，$v=1,2,\cdots ,V$，选择基尼值最小的取值$a_{\ast }$作为划分点，将集合$D$划分为$D_1$和$D_2$两个集合（节点），其中$D_1$的样本集合为$a_{\ast }=a_{\ast }^v$的样本，$D_2$集合为$a_{\ast }\ne a_{\ast }^v$的样本。

3. 对集合$D_1$和$D_2$重复步骤1和步骤2，直到满足停止条件。

CART决策树回归算法：

1. 根据以下公式找出最优化分特征$a_{\ast }$和最优划分点$a_{\ast }^v$：

   $$a_{\ast },a_{\ast }^v=\underset{a,a^v}{\mathrm{argmin}}\left[\underset{c_1}{\min }\sum _{{\mathbf{x}}_i\in D_1\left(a,a^v\right)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{{\mathbf{x}}_i\in D_2\left(a,a^v\right)}{\left(y_i-c_2\right)}^2\right]$$

   其中，$D_1\left(a,a^v\right)$表示在属性$a$上取值小于等于$a^v$的样本集合，$D_2\left(a,a^v\right)$表示在属性$a$上取值大于$a^v$的样本集合，$c_1$表示$D_1$的样本输出均值，$c_2$表示$D_2$的样本输出均值。

2. 根据划分点$a_{\ast }^v$将集合$D$划分为$D_1$和$D_2$两个集合（节点）。

3. 对集合$D_1$和$D_2$重复步骤1和步骤2，直到满足停止条件。