决策树算法推导&python应用

决策树公式推导

（1）信息熵－－用来度量样本集合纯度最常用的一种指标，定义如下：
$$\mathrm{Ent}(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k\text{\hspace{1em}(式1)}$$
其中， D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)}表示样本集合，$|y|$表示样本类别总数，$P_k$表示第$k$类样本所占的比例，而且满足$0\le P_k\le 1\cdot {\sum }_{k=1}^{|y|}{p}_k=1$。上式值越小，则纯度越高。（样本尽可能属于同一类别，则“纯度”更高）

[证]：证明$0\le \mathrm{Ent}(D)\le {\log }_2|\mathcal{Y}|$：
已知集合$D$的信息熵的定义为
$$\mathrm{Ent}(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k\text{\hspace{1em}(式2)}$$
其中，$|\mathcal{Y}|$表示样本类别总数，$p_k$表示第$k$类样本所占的比例，且$0\le p_k\le 1,{\sum }_{k=1}^n{p}_k=1$。如若令$|\mathcal{Y}|=n,p_k=x_k$，那么信息熵$\mathrm{Ent}(D)$就可以看作一个$n$元实值函数，也即
$$\mathrm{Ent}(D)=f(x_1,...,x_n)=-\sum _{k=1}^n{x}_k{\log }_2{x}_k\text{\hspace{1em}(式3)}$$
其中，$0\le x_k\le 1,{\sum }_{k=1}^n{x}_k=1$，下面考虑求该多元函数的最值。

最大值：

如果不考虑约束$0\le x_k\le 1$，仅考虑${\sum }_{k=1}^n{x}_k=1$的话，对$f(x_1,...,x_n)$求最大值等价于如下最小化问题
$$\begin{array}{ll}\min & \sum _{k=1}^n{x}_k{\log }_2{x}_k\\ \text{ s.t. }& \sum _{k=1}^n{x}_k=1\end{array}\text{\hspace{1em}(式4)}$$
其中，$y=x\log x$函数图像如下：

这样一来，在$0\le x_k\le 1$时，此问题为凸优化问题，而对于凸优化问题来说，满足KKT条件的点即为最优解。由于此最小化问题仅含等式约束，那么能令其拉格朗日函数的一阶偏导数等于0的点即为满足KKT条件的点。根据拉格朗日乘子法可知，该优化问题的拉格朗日函数如下:
$$L(x_1,...,x_n,\lambda )=\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\text{\hspace{1em}(式5)}$$
其中，$\lambda$为拉格朗日乘子。对$L(x_1,...,x_n,\lambda )$分别关于$x_1,...,x_n,\lambda$求一阶偏导数，并令偏导数等于0可得到下式:
$$\begin{array}{rl}\frac{\partial L(x_1,...,x_n,\lambda )}{\partial x_1}& =\frac{\partial }{\partial x_1}\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\right]=0\\ & ={\log }_2{x}_1+x_1\cdot \frac{1}{x_1\ln 2}+\lambda =0\\ & ={\log }_2{x}_1+\frac{1}{\ln 2}+\lambda =0\\ & \Rightarrow \lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}\\ 对x_2求偏导数有：& \\ \frac{\partial L(x_1,...,x_n,\lambda )}{\partial x_2}& =\frac{\partial }{\partial x_2}\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\right]=0\\ & \Rightarrow \lambda =-{\log }_2{x}_2-\frac{1}{\ln 2}\\ ⋮& \\ 对x_n求偏导数有：& \\ \frac{\partial L(x_1,...,x_n,\lambda )}{\partial x_n}& =\frac{\partial }{\partial x_n}\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\right]=0\\ & \Rightarrow \lambda =-{\log }_2{x}_n-\frac{1}{\ln 2}\\ 对\lambda 求偏导数有：& \\ \frac{\partial L(x_1,...,x_n,\lambda )}{\partial \lambda }& =\frac{\partial }{\partial \lambda }\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\right]=0\\ & \Rightarrow \sum _{k=1}^n{x}_k=1实际上就等于约束条件。\end{array}\text{\hspace{1em}(式6)}$$
整理一下可得：
$$\{\begin{array}{l}\lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}=-{\log }_2{x}_2-\frac{1}{\ln 2}=...=-{\log }_2{x}_n-\frac{1}{\ln 2}\\ \sum _{k=1}^n{x}_k=1\end{array}\text{\hspace{1em}(式7)}$$

由以上两个方程可以解得：
$$x_1=x_2=...=x_n=\frac{1}{n}\text{\hspace{1em}(式8)}$$

又因为$x_k$还需满足约束$0\le x_k\le 1$，这样就得到$0\le \frac{1}{n}\le 1$，所以$x_1=x_2=...=x_n=\frac{1}{n}$是满足所有约束的最优解，也即为当前最小化问题的最小值点，同时也是$f(x_1,...,x_n)$的最大值点。将$x_1=x_2=...=x_n=\frac{1}{n}$代入$f(x_1,...,x_n)$中可得:
$$f(\frac{1}{n},...,\frac{1}{n})=-\sum _{k=1}^n\frac{1}{n}{\log }_2\frac{1}{n}=-n\cdot \frac{1}{n}{\log }_2\frac{1}{n}={\log }_{2}n\text{\hspace{1em}(式9)}$$
所以$f(x_1,...,x_n)$在满足约束$0\le x_k\le 1,{\sum }_{k=1}^n{x}_k=1$时的最大值为${\log }_{2}n$。

最小值：

如果不考虑约束${\sum }_{k=1}^n{x}_k=1$，仅考虑$0\le x_k\le 1$，$f(x_1,...,x_n)$可以看做是$n$个互不相关的一元函数的加和，即：
$$f(x_1,...,x_n)=\sum _{k=1}^{n}g(x_k)\text{\hspace{1em}(式10)}$$
其中，$g(x_k)=-x_k{\log }_2{x}_k,0\le x_k\le 1$。那么当$g(x_1),g(x_2),...,g(x_n)$分别取到其最小值时，$f(x_1,...,x_n)$也就取到了最小值。所以接下来考虑分别求$g(x_1),g(x_2),...,g(x_n)$各自的最小值，由于$g(x_1),g(x_2),...,g(x_n)$的定义域和函数表达式均相同，所以只需求出$g(x_1)$的最小值也就求出了$g(x_2),...,g(x_n)$的最小值。下面考虑求$g(x_1)$的最小值，首先对$g(x_1)$关于$x_1$求一阶和二阶导数:
$$g^{\prime }(x_1)=\frac{d(-x_1{\log }_2{x}_1)}{d{x}_1}=-{\log }_2{x}_1-x_1\cdot \frac{1}{x_1\ln 2}=-{\log }_2{x}_1-\frac{1}{\ln 2}\text{\hspace{1em}(式11)}$$
$$g^{\prime \prime }(x_1)=\frac{d\left(g^{\prime }(x_1)\right)}{d{x}_1}=\frac{d\left(-{\log }_2{x}_1-\frac{1}{\ln 2}\right)}{d{x}_1}=-\frac{1}{x_1\ln 2}\text{\hspace{1em}(式12)}$$
发现，当$0\le x_k\le 1$时$g^{\prime \prime }(x_1)=-\frac{1}{x_1\ln 2}$恒小于0，所以$g(x_1)$是一个在其定义域范围内开口向下的凹函数，那么其最小值必然在边界取，于是分别取$x_1=0$和$x_1=1$，代入$g(x_1)$可得:
$$g(0)=-0{\log }_{2}0=0\text{\hspace{1em}(式13)}$$
$$g(1)=-1{\log }_{2}1=0\text{\hspace{1em}(式14)}$$
所以，$g(x_1)$的最小值为0，同理可得$g(x_2),...,g(x_n)$的最小值也为0，那么$f(x_1,...,x_n)$的最小值此时也为0。

但是，此时是不考虑约束${\sum }_{k=1}^n{x}_k=1$，仅考虑$0\le x_k\le 1$时取到的最小值，若考虑约束${\sum }_{k=1}^n{x}_k=1$的话，那么$f(x_1,...,x_n)$的最小值一定大于等于0。如果令某个$x_k=1$，那么根据约束${\sum }_{k=1}^n{x}_k=1$可知$x_1=x_2=...=x_{k-1}=x_{k+1}=...=x_n=0$，将其代入$f(x_1,...,x_n)$可得：
$$\begin{gathered} f(0,0,...,0,1,0,...,0)=-0{\log }_{2}0-0{\log }_{2}0...-0{\log }_{2}0-1{\log }_{2}1-0{\log }_{2}0...-0{\log }_{2}0=0 \\ \text{\hspace{1em}(式15)} \end{gathered}$$
所以$x_k=1,x_1=x_2=...=x_{k-1}=x_{k+1}=...=x_n=0$一定是$f(x_1,...,x_n)$在满足约束${\sum }_{k=1}^n{x}_k=1$和$0\le x_k\le 1$的条件下的最小值点，其最小值为0。

综上可知，当$f(x_1,...,x_n)$取到最大值时：$x_1=x_2=...=x_n=\frac{1}{n}$，此时样本集合纯度最低；当$f(x_1,...,x_n)$取到最小值时：$x_k=1,x_1=x_2=...=x_{k-1}=x_{k+1}=...=x_n=0$，此时样本集合纯度最高。

（2）条件熵–在已知样本属性$a$的取值情况下，度量样本集合纯度的一种指标：
$$H(D|a)=\sum _{v=1}^V\frac{|D^v|}{|D|}\mathrm{Ent}(D^v)\text{\hspace{1em}(式16)}$$
其中，$a$表示样本的某个属性，假定属性$a$有$V$个可能的取值 { a 1 , a 2 , ⋯   , a V } \{a^1,a^2,\cdots,a^V\} {a1,a2,⋯,aV},样本集合$D$中在属性$a$上取值为$a^v$的样本记为$D^v$,$\mathrm{Ent}(D^v)$为样本集合$D^v$的信息熵。$H(D|a)$越小，纯度越高。

１. ID3 决策树

ID3决策树----以信息增益为准则来选择划分属性的决策树。信息增益定义如下：
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}\mathrm{Ent}(D^v)\\ & =\mathrm{Ent}(D)-H(D|a)\end{array}\text{\hspace{1em}(式17)}$$
选择信息增益值最大的属性作为划分属性。因为信息增益越大，则意味着使用该属性来进行划分所获得的“纯度提升”越大。

将（式17）进一步展开写为如下形式：
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}\mathrm{Ent}(D^v)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}\left(-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k\right)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}\left(-\sum _{k=1}^{|\mathcal{Y}|}\frac{|D_k^v|}{|D^v|}{\log }_2\frac{|D_k^v|}{|D^v|}\right)\end{array}\text{\hspace{1em}(式18)}$$
其中，$D_k^v$为样本集合$D$中在属性$a$上取值为$a^v$且类别为$k$的样本。

$⟹$以信息增益为划分准则的ID3决策树对可取值数目较多的属性有所偏好。

2. C4.5决策树

C4.5决策树----以信息增益率为准则来选择划分属性的决策树。信息增益率定义为：
$$\begin{gathered} \mathrm{G}\mathrm{a}\mathrm{i}\mathrm{n}-\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}(D,a)=\frac{\mathrm{Gain}(D,a)}{\mathrm{IV}(a)} \\ 其中，\mathrm{IV}(a)=-\sum _{v=1}^V\frac{|D^v|}{|D|}{\log }_2\frac{|D^v|}{|D|}\text{\hspace{1em}(19)} \end{gathered}$$

增益率准则，对可取值数目较少的属性有所偏好，因此C4.5算法并不是直接选择增益率最大的划分属性，而是使用了一个启发式；先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

3. CART决策树

CART决策树----以基尼指数为准则来选择划分属性的决策树。基尼值定义为：
$$\begin{array}{rl}\mathrm{Gini}(D)& =\sum _{k=1}^{|\mathcal{Y}|}\sum _{k^{\prime }\ne k}{p}_k^{\prime }{p}_k=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\sum _{k^{\prime }\ne k}{p}_k^{\prime }\\ & =\sum _{k=1}^{|\mathcal{Y}|}{p}_k(1-p_k)=1-\sum _{k=1}^{|\mathcal{Y}|}{p}_k^2\end{array}\text{\hspace{1em}(式20)}$$
基尼指数：
$$\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}-\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{e}\mathrm{x}(D,a)=\sum _{v=1}^V\frac{|D^v|}{|D|}\mathrm{Gini}(D^v)\text{\hspace{1em}(式21)}$$
基尼值和基尼指数越小，样本集合纯度越高。

CART决策树分类算法：
1.根据基尼指数公式找出基尼指数最小的属性$a_{\ast }$
2.计算属性$a_{\ast }$的所有可能取值的基尼值$\mathrm{Gini}(D^v)$，并选择基尼值最小的取值$a_{\ast }^v$作为划分点。将集合$D$划分为$D_1$和$D_2$两个集合(节点)，其中$D_1$集合的样本为$a_{\ast }=a_{\ast }^v$的样本，$D_2$集合为$a_{\ast }\ne a_{\ast }^v$的样本。
3.对集合$D_1,D_2$重复步骤1和2，知道满足条件。

4. 决策树的构建

author by xiaoyao 这里我使用酒的数据集来演示一下决策树的构建。

# 导入libraries
import numpy as np
# 导入画图工具
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
# 导入tree模型和数据集加载工具
from sklearn import tree, datasets
# 导入数据集拆分工具
from sklearn.model_selection import train_test_split
wine = datasets.load_wine()
# 这里只选取数据集的前两个特征
X = wine.data[:,:2]
y = wine.target
# 将数据集划分为训练集个测试集
X_train, X_test, y_train, y_test = train_test_split(X, y)

# 忽略警告
import warnings
warnings.filterwarnings("ignore")

# 设定决策树分类器最大深度为1
clf = tree.DecisionTreeClassifier(max_depth=1)
# 拟合训练数据集
clf.fit(X_train, y_train)

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=1,
                       max_features=None, max_leaf_nodes=None,
                       min_impurity_decrease=0.0, min_impurity_split=None,
                       min_samples_leaf=1, min_samples_split=2,
                       min_weight_fraction_leaf=0.0, presort=False,
                       random_state=None, splitter='best')

# 定义图像中分区的颜色和散点的颜色
cmap_light = ListedColormap(["#FFAAAA", "#AAFFAA", "#AAAAFF"])
cmap_bold = ListedColormap(["#FF0000", "#00FF00", "#0000FF"])

# 分别用样本的两个特征值创建图像和横轴、纵轴
x_min, x_max = X_train[:,0].min() - 1, X_train[:,0].max() + 1
y_min, y_max = X_train[:,1].min() - 1, X_train[:,1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02),np.arange(y_min, y_max, .02))
z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
# 给每个分类中的样本分配不同的颜色
z = z.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx, yy, z, cmap=cmap_light)

# 使用散点图进行表示
plt.scatter(X[:,0], X[:,1], c=y, cmap=cmap_bold, edgecolor="k",s=20)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("Classifier:(max_depth = 1)")
plt.show()

最大深度为1时，分类器的表现不很好，下面加大深度

# 设定决策树分类器最大深度为3
clf2 = tree.DecisionTreeClassifier(max_depth=3)
# 拟合训练数据集
clf2.fit(X_train, y_train)

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,
                       max_features=None, max_leaf_nodes=None,
                       min_impurity_decrease=0.0, min_impurity_split=None,
                       min_samples_leaf=1, min_samples_split=2,
                       min_weight_fraction_leaf=0.0, presort=False,
                       random_state=None, splitter='best')

# 定义图像中分区的颜色和散点的颜色
cmap_light = ListedColormap(["#FFAAAA", "#AAFFAA", "#AAAAFF"])
cmap_bold = ListedColormap(["#FF0000", "#00FF00", "#0000FF"])

# 分别用样本的两个特征值创建图像和横轴、纵轴
x_min, x_max = X_train[:,0].min() - 1, X_train[:,0].max() + 1
y_min, y_max = X_train[:,1].min() - 1, X_train[:,1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02),np.arange(y_min, y_max, .02))
z = clf2.predict(np.c_[xx.ravel(), yy.ravel()])
# 给每个分类中的样本分配不同的颜色
z = z.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx, yy, z, cmap=cmap_light)

# 使用散点图进行表示
plt.scatter(X[:,0], X[:,1], c=y, cmap=cmap_bold, edgecolor="k",s=20)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("Classifier:(max_depth = 3)")
plt.show()

此时，分类器就可以进行3个分类的识别，而且大部分的数据点都进入了正切的分类。接下来进一步调整深度。

# 设定决策树分类器最大深度为3
clf3 = tree.DecisionTreeClassifier(max_depth=5)
# 拟合训练数据集
clf3.fit(X_train, y_train)

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=5,
                       max_features=None, max_leaf_nodes=None,
                       min_impurity_decrease=0.0, min_impurity_split=None,
                       min_samples_leaf=1, min_samples_split=2,
                       min_weight_fraction_leaf=0.0, presort=False,
                       random_state=None, splitter='best')

# 定义图像中分区的颜色和散点的颜色
cmap_light = ListedColormap(["#FFAAAA", "#AAFFAA", "#AAAAFF"])
cmap_bold = ListedColormap(["#FF0000", "#00FF00", "#0000FF"])

# 分别用样本的两个特征值创建图像和横轴、纵轴
x_min, x_max = X_train[:,0].min() - 1, X_train[:,0].max() + 1
y_min, y_max = X_train[:,1].min() - 1, X_train[:,1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02),np.arange(y_min, y_max, .02))
z = clf3.predict(np.c_[xx.ravel(), yy.ravel()])
# 给每个分类中的样本分配不同的颜色
z = z.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx, yy, z, cmap=cmap_light)

# 使用散点图进行表示
plt.scatter(X[:,0], X[:,1], c=y, cmap=cmap_bold, edgecolor="k",s=20)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("Classifier:(max_depth = 3)")
plt.show()

发现，性能进一步提升了。接下来我使用graphviz这个library来展示这个过程。

安装方式：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple graphviz

%pwd

'D:\\python code\\8messy'

# 导入graphviz工具包
import graphviz
# 导入决策树中输出graphviz的接口
from sklearn.tree import export_graphviz
# 选择最大深度为3的分类模型
export_graphviz(clf2, out_file="./wine.dot", class_names=wine.target_names,
               feature_names = wine.feature_names[:2], impurity=False,filled=True)
# 打开一个dot文件
with open('./wine.dot') as f:
    dot_graph = f.read()
# 显示dot文件中的图形
graphviz.Source(dot_graph)