决策树总结

记录决策树模型基础知识与发展

决策树基础概念

决策树是一种基本的分类和回归方法。决策树的学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。

信息增益

在信息论和概率统计中，熵(entropy)是对$\text{随机变量不确定性}$的度量

X是一个取有限个值的离散随机变量，P($X=x_i$)=$p_i$,i=1,2…,n.

随机变量的熵定义为：H(X)=$-{\sum }_{i=1}^n{p}_{i}log{p}_i$，$p_i=\frac{|C_i|}{|D|}$,$|C_i|$表示样本D中属于第i类的样本数,n是总类别数。
熵越大，随机变量的不确定性越大，0$\le$H§$\le$logn ，当均匀分布时，熵的值最大，由于均匀分布时，限定最小，不确定性最大，熵取最大值。

假设经过特征A,样本D被划分成K个子集$D_i$,每个子集的信息熵为$H(D_i)=-{\sum }_{j=1}^n\frac{|D_{ij}|}{|D_i|}log\frac{|D_{ij}|}{|D_i|}$,总的信息熵为：$H(D|A)=-{\sum }_{i=1}^K\frac{|D_i|}{|D|}{\sum }_{j=1}^n\frac{|D_{ij}|}{|D_i|}log\frac{|D_{ij}|}{|D_i|}$

信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度，表示为g(D,A)=H(D)-H(D|A)

2. ID3

信息增益越大，分裂之后样本的信息熵越小，意味着同类别的样本聚集到了一起。对于每一个特征，计算该特征下的信息增益，选择信息增益最大的特征A作为当前节点，以此类推。

3. C4.5

假如有一个特征，经过该特征之后，所有的样本都被单独划分开，即每一个子集都只有一个样本，这样的特征其实没有多大意义，并没有很好的实现“物以类聚”，但是因为经过它之后所有样本都被划分开了，此时所有子集的信息熵最小，因而信息增益最大，所以ID3算法会优先选取这样的特征

在计算信息增益的时候，不仅考虑了每一个子集的类别信息熵（类别纯度的衡量），包含了所有子集样本分布的影响（子集越多，样本在所有子集中分布越均衡，熵就越小）,后者对于样本的正确分类没有很大作用，因此需要消除经过特征后样本分布带来的信息增益。

经过特征A后样本分布的信息熵为$H_A(D)$,$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}log\frac{|D_i|}{|D|}$

新的评价指标：$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$,得到信息增益比

4.CART

ID3树与C4.5树是多分类树，CART树是二叉树，可用于分类和回归。

CART分类

对于分类问题，CART树采用基尼系数作为评价指标，对每一个样本，要不然它属于第k类，要不然不属于第k类。
$Gini(D)={\sum }_{k=1}^K{p}_k(1-p_k)$,其中$p_k=\frac{|C_k|}{|D|}$,${\sum }_{k=1}^K{p}_k=1$,所以Gini(D)=$1-{\sum }_{k=1}^K(\frac{|C_k|}{|D|}{)}^2$

从给定的特征中选取特征A，由于是一个二叉树，所以分裂后的子集只有两个$D_1和D_2$

那么分裂后的基尼指数为Gini(D,A)=$\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$

基尼指数和信息熵类似，也是衡量样本集合的混乱程度，即不确定性.选择使基尼指数最小的特征作为当前最优特征

CART回归

遍历所有特征，每个特征下找到一个最优分割点，比较不同特征带来的均方误差，选取误差最小的特征作为当前的分裂节点，样本经过这个特征会分成左右两个子集，再对子集进行同样的特征选取策略即可．

(1)对于所有的特征j与分割点s，选择最优的特征$\hat{j}$和最优的分割点$\hat{s}$,使得真实值与预测值的均方误差最小
$mi{n}_{j,s}({\sum }_{x\in R_1}(y_i-c_1{)}^2+{\sum }_{x\in R_2}(y_i-c_2{)}^2)$

其中$c_1$=average(${\sum }_{x\in R_1{y}_i}$)，$c_2$=average(${\sum }_{x\in R_2{y}_i}$),$R_1$={$x|x^{(\hat{j})}<\hat{s}$},$R_2$={$x|x^{(\hat{j})}>\hat{s}$}

(2)对上述的两个区域$R_1$与$R_2$继续分别进行最优特征与最优分割点的选择，直到满足构建决策树的停止条件

(3)将每次分割的两个区域与之前的叠加，最终把输入空间分割为$R_1{R}_2...R_M$,最终的回归树$f(x)={\sum }_{m=1}^M{c}_{m}I(x\in R_m)$,$c_m$为每个$R_m$区域内样本的均值

参考资料：https://zhuanlan.zhihu.com/p/123021606