【机器学习基础算法系列】【叁】全面详解决策树(Decision Tree)

符号定义

• $D$为训练数据集，$|D|$为训练数据集样本个数
• $C$为样本所属类别，$C_k$表示样本所属为第$k$类，$|C_k|$表示所属第$k$类的样本数，${\sum }_{k=1}^K|C_k|=|D|$
• $A$为特征集，$A_k$表示第$k$个特征，$a_i\in {a_1,a_2, … , a_n} $是$A_k$的所有取值，$a_i$可以把数据集分为$n$个子集，$D_i \in {D_1,D_2, … , D_n}$，$\sum_{k=1}^K|D_k|=|D|$
• $D_{ik}$为子集$D_i$属于$C_k$的样本集合，即$D_{ik}=D_i\cap C_k$，$|D_{ik}|$为子集$D_i$属于$C_k$的样本个数

增益计算

• 数据集$D$的经验熵$H(D)$
  $$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$$

• 特征$A$对数据$D$的经验条件熵$H(D|A)$

$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|}$$

​ 其中$n$为特征A的取值个数。

• 信息增益：$g(D,A)=H(D)-H(D|A)$
• 信息增益率：$g_r(D,A)=\frac{g(D,A)}{H_A(D)}$，其中$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}$，其中$n$为特征A的取值个数。

树的生成

• ID3：特征选择靠信息增益
• C4.5：特征选择靠信息增益率
• CART：回归树靠均方误差，分类树靠Gini系数

1. 如果该节点上的数据仅有一种类别，则停止生长置T为单节点树，并将该类别作为节点的输出，返回树T
2. 如果特征集$A=\varnothing$，则停止生长置T为单节点树，并将属于该节点样本数最多的类别作为节点的输出，返回树T
3. 否则，在特征集中计算增益，ID3计算信息增益，C4.5计算信息增益率，选择最大增益的特征作为父节点
4. 如果3中增益小于预设的某一阈值$ϵ$，则停止生长置T为单节点树，并选择属于该节点样本数最多的类别作为该节点的输出，返回树T
5. 否则，对该特征$A_g$的每一个取值，将样本分割成若干非空子集$D_i$并设置为子节点$i$，父子节点构成树T，返回T
6. 对节点$i$，以$D_i$为训练集，以$A-A_g$为特征集递归的调用1~5

树的剪枝

• 决策树的剪枝

已生成的整数T，给定的参数α

1. 计算每个节点的经验熵，$H_t(T)=-{\sum }_k(\frac{N_{tk}}{N_t})\ast log(\frac{N_{tk}}{N_t})$，损失函数为$C_{\alpha }(T)={\sum }_{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$
2. 递归的从叶节点回溯，自下而上的比较回溯前树$T_b$和回溯后$T_a$的损失函数，如果$C_{\alpha }(T_a)\le C_{\alpha }(T_b)$，即剪枝后整树的损失函数减小了，那么将该叶子节点以下的树剪枝，将该叶子设置为新的父节点
3. 返回(2)，直到不能继续位置，得到损失最小的子树$T_{\alpha }$

以上过程可以使用动态规划实现

• CART树的剪枝

同ID3和C4.5一样，自下而上的剪枝，比较剪枝前后的loss变化，如果减小了就剪枝，否则保留