决策树及其剪枝方法学习笔记

决策树

---

信息量：

$lo{g}_2\frac{1}{p\left(x_i\right)}$

信息熵(不确定性度量)，熵为各事件信息量的“数学期望”：

熵越大，随机变量的不确定性越大。

$$H(p)=-\sum _{i=1}^n{p}_i\log p_i$$，其中 $0\le H(p)\le \log n$

条件熵：表示已知随机变量X的条件下随机变量Y的不确定性。

$H(Y\mid X)={\sum }_{i=1}^n{p}_{i}H\left(Y\mid X=x_i\right)$

信息增益（ID3）：特征A对训练数据集D的信息增益，$g(D,A)$，定义为集合D的经验熵$H(D)$与特征A给定条件下D的经验条件熵$H(D|A)$之差，即：

$g(D,A)=H(D)-H(D\mid A)$

$H(D\mid A)={\sum }_{k=1}^K\frac{|D_i|}{|D|}H\left(D_i\right)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\sum }_{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}$

计算每一个属性的信息增益，选择信息增益最大的属性。

以信息增益作为划分训练数据即的特征，存在偏向于选择取值较多的特征的问题（属性值越多信息增益会越大），使用信息增益比可以对这一问题进行矫正。

信息增益比（C4.5）：特征A对训练数据集D的信息增益比定义为信息增益与训练数据集D关于特征A的值的熵之比：

$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$

---

决策树面临的问题及剪枝：

理想的决策树：

• 叶子结点数最少
• 叶子结点深度最小
• 叶子结点数最少且叶子结点深度最小
  
  

决策树的剪枝：通过极小化决策树整体的损失函数或代价函数来实现。

设树$T$的叶结点个数为$|T|$，$t$是树$T$的叶结点，该叶结点有$N_t$个样本点，其中$k$类的样本点有$N_{tk}$个，$k=1,2..K$，$H_t(T)$为叶结点$t$上的经验熵，$\alpha >=0$为参数，损失函数为：

$C_{\alpha }(T)={\sum }_{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$，其中${\sum }_{t=1}^{|T|}{N}_t{H}_t(T)$为预测误差损失（拟合性），$\alpha |T|$为模型复杂度损失（泛化性），因为我们知道信息熵是一个数学期望，所以要进行加权$N_t$。

$H_t(T)=-{\sum }_k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}$，则：$C(T)={\sum }_{t=1}^{|T|}{N}_t{H}_t(T)=-{\sum }_{t=1}^{|T|}{\sum }_{k=1}^K{N}_{tk}\log \frac{N_{tk}}{N_t}$，$C_{\alpha }(T)=C(T)+\alpha |T|$

对固定的$a$一定存在损失函数最小子树，表示为$T_a$，当$a$变大时，最优子树$T_a$偏小，$a=0$时，整体树最优，$a$趋于无穷大，单结点最优。

树剪枝算法：

输入：生成算法产生的整个树$T$，参数$\alpha$;

输出：修剪后的子树$T_{\alpha }$。

• 1）计算每个结点的经验熵；
• 2）递归地从树的叶结点向上回缩。
  • 设一组叶结点回缩到其父结点之后与之前的损失函数分别为：$C_{\alpha }(T_A)$与$C_{\alpha }(T_B)$
  • 如果：$C_{\alpha }\left(T_A\right)\le C_{\alpha }\left(T_B\right)$则进行剪枝
• 3）返回2），直至不能继续为止，得到损失函数最小的子树$T_{\alpha }$。