决策树

决策树 ——《西瓜书》周志华

---

以下是我总结有关决策树的相关知识，不到位之处，烦请指出。

1. 基本流程

   决策树(decision tree) 是一类常见的机器学习方法。顾名思义， 决策树是基于树结构进行决策的。一般的， 一棵树包含一个根节点、 若干个内部结点、若干个叶节点。

   • 叶结点对应于决策结果， 其他每个节点则对应于每个属性测试.每个结点包含的样本集合根据属性测试的结果被划分到子结点钟；

   • 根结点包含样全集，从根结点到每个叶节点的路径对应了一个判定测试序列。

     决策树学习的目的是为了产生一棵泛化能力强的决策树，其基本流程遵循简单且直观的“分而治之（divide-and-conquer）”策略。

     ---

     **输入：**训练集$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$

     ​ 属性集合$A=a_1,a_2,...,a_d$.

     **过程：**函数 $TreeGenerate(D,A)$

     1: 生成结点node

     2: if $D$中样本全属于同类别$C$ then

     3: 将node标记为$C$类叶结点; return

     4: end if

     5: **if **$A=\varnothing$ OR$D$中的样本在$A$上的取值相同 then
     6： 将node标记为叶结点， 其类别标记为$D$中样本数最多的类；return

     7：end if

     8： 从$A$中选取最优划分属性$a_{\ast }$;

     9: for $a_{\ast }$的每一个值$a_{\ast }^v$ do

     10： 为node生成一个分支；令$D_v$表示D中在$a_{\ast }$上的取值为$a_{\ast }^v$的样本子集；

     11： if $D_v$为空 then

     12： 将分支结点标记为叶结点， 其类别标记为$D$中样本最多的类；return

     13： else

     14： 以 T r e e G e n e r a t e ( D v , A { a ∗ } ) TreeGenerate(D_v, A\{a_*\} ) TreeGenerate(Dv​,A{a∗​}) 为分支结点

     15: endif

     16: end for

     **输出：**以node为根结点的一棵决策树

     ---

     在决策树三种情形中会导致递归返回:

     • 当前结点包含的样本全属于同一类别， 无需划分。

     • 当前属性集为空， 或是所有样本在所有属性上的取值相同， 无法划分。

     • 当前结点包含的样本集合为空， 不能划分。

2. 划分选择

2.1 信息增益

“信息熵”是度量样本集合纯度最常见的一种指标。假设当前样本集合$D$中第$k$类样本所占的比例为$p_k(k=1,2,...,|y|)$， 则$D$的信息熵定义为：
$$ENT(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k\text{\hspace{1em}(1)}$$
$ENT(D)$的值越小， 则$D$的纯度越高。

​ 假定离散属性$a$有$V$个可能的取值 { a 1 , a 2 , . . . , a V } \{a^1, a^2, ..., a^V\} {a1,a2,...,aV}, 若使用$a$来对样本集$D$进行划分， 则会产生$V0$个分支结点，其中第$v$个分支节点包含了$D$中所有在属性$a$上的取值为$a^v$的样本，记为$D^v$. 我们可以根据1式计算出$D^v$的信息熵， 再考虑到不同的分支结点所包含的样本数不同， 给分支结点赋予权重$|D^v|/|D|$。 样本数越多的分支结点的影响越大，于是可计算出用属性$a$对样本集$D$进行划分所获得的“信息增益”
$$Gain(D,a)=Ent（D）-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)\text{\hspace{1em}(2)}$$
一般而言，信息增益越大， 则意味着使用属性$a$来进行划分所获得的"纯度提升"越大， 因此我们可用信息增益来进行决策树的划分属性选择。

2.2 增益率

​ 由于信息增益准则对可取数目较多的属性有所偏好， 为减少这种偏好可能带来的不利影响， 可以使用“增益率(gain ratio)”来选择最优划分属性，增益率定义为：
$$Gai{n}_{r}atio(D,a)=\frac{Gain(D,a)}{IV}\text{\hspace{1em}(3)}$$
其中：
$$IV(a)=-\sum _{v=1}^V\frac{|D^v|}{|D|}lo{g}_2\frac{|D^v|}{|D|}\text{\hspace{1em}(4)}$$
称为属性$a$的"固有值"。属性$a$的可能取值数目越多(即$V$越大)， 则$IV(a)$的值通常会越大。增益率准则对可取数目较少的属性有所偏好。

3. 基尼系数

   CART(classification and Regression Tree)使用“基尼指数”来划分属性.
   $$\begin{gathered} Gini（D）=\sum _{k=1}^{|y|}\sum _{k‘̸=k}{p}_k{p}_{k‘} \\ =1-\sum _{k=1}^{||y}{p}_k^2\text{\hspace{1em}(5)} \end{gathered}$$
   直观来说，$Gini(D)$反映了从数据集$D$中随机抽取两个样本，其类别标记不一致的概率，因此$Gini(D)$越小， 则数据集$D$的纯度越高。属性$a$的基尼指数定义为：
   $$Gin{i}_{i}ndex(D,a)=\sum _{v=1}^V\frac{|D^v|}{D}Gini(D^v)\text{\hspace{1em}(6)}$$
   于是，我们在候选属性集合$A$中，选择那个使得划分后基尼指数最小的属性作为最优划分属性， 即
   $$a_{\ast }=argmi{n}_{a\in A}Gini\_index(D,a)$$

4. 剪枝处理

   剪枝（Pruning）是决策树学习算法对付“过拟合”的主要手段。

   决策树剪枝的基本策略有“预剪枝”和“后剪枝”。

   • 预剪枝是指决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能的提升， 则停止划分并将当前结点标记为叶节点。
   • 后剪枝则是先从训练集生成一颗完整的决策树， 然后自底向上的对非叶节点进行考察，若将该节点对应的子树替换为叶节点能带来决策树泛化性能提升，则将该字数替换为叶结点。

后剪枝决策树通常比预剪枝保留更多的分支。一般情形下，后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树，但后剪枝过程是在生成完全决策树之后进行的，并且要自底而上地对树种的所有非叶节点进行逐一考察，因此其训练时间开销比预剪枝决策树要大得多。

4. 连续与缺失值

   4.1 连续值处理

   优于连续属性的可取值数目不再有限，因此，不能直接根据连续属性的可取值来对结点进行划分。最简单的策略是采用“二分法”对连续值进行处理。

   ​ 给定样本集$D$和连续属性$a$, 假定$a$在$D$上出现了$n$个不同的取值，将这些值从小到大进行排序。记为 { a 1 , a 2 , . . . , a n } \{a^1, a^2, ...,a^n\} {a1,a2,...,an},基于划分点$t$可将$D$分为子集$D_t^{-}$和$D_t^{+}$,

   • $D_t^{-}$包含那些在属性$a$上取值不大于$t$的样本，

   • $D_t^{+}$则包含那些在属性$a$上取值大于$t$的样本。

     对于相邻的属性取值$a^i$与$a^{i+1}$来说，$t$在区间$[a^i,a^{i+1})$中取任意值所产生的划分结果相同。因此，对连续属性$a$, 我们可考察包含$n-1$个元素的候选划分集合
     (7) T a = { a i + a i + 1 2 ∣ 1 ≤ i ≤ n − 1 } T_a=\{\frac{a^i +a^{i+1}}{2}| 1\leq i \leq n-1 \}\tag{7} Ta​={2ai+ai+1​∣1≤i≤n−1}(7)

   即把区间$[a^i,a^{i+1})$的中位点$\frac{a^i+a^{i+1}}{2}$作为候选划分点。然后，我们就可像离散属性值一样来考虑这些划分点， 选取最优的划分点进行样本集合的划分。
   (8) G a i n ( D , a ) = m a x t ∈ T a G a i n ( D , a , t ) m a x t ∈ T a E n t ( D ) − ∑ λ ∈ { − , + } ∣ D t λ ∣ ∣ D ∣ E n t ( D t λ ) Gain(D,a)=max_{t\in T_a}Gain(D, a, t)\\ max_{t \in T_a}Ent(D) -\sum_{\lambda \in \{-, + \}}\frac{|D^{\lambda}_t|}{|D|}Ent(D^{\lambda}_t) \tag{8} Gain(D,a)=maxt∈Ta​​Gain(D,a,t)maxt∈Ta​​Ent(D)−λ∈{−,+}∑​∣D∣∣Dtλ​∣​Ent(Dtλ​)(8)
   其中$Gain(D,a,t)$是样本集$D$基于划分点$t$二分后的信息增益. 于是， 我们就可选择使$Gain(D,a,t)$最大化划分点。

4.2 缺失值处理

​ “信息增益”的计算式为
$$\begin{gathered} Gain(D,a)=\rho \times Gain(\hat{D},a) \\ =\rho \times （Ent(\hat{D})-\sum _{v=1}^V{\hat{r}}_{v}Ent({\hat{D}}^v)） \end{gathered}$$
其中若样本$x$在划分属性$a$上的取值已知， 则将$x$划入与其取值对应的子结点，且样本权值在子结点中保持为$w_x$. r若样本中$x$在划分属性$a$上的取值未知， 则将$x$同时划入所有子结点， 且样本值在与属性值$a^v$对应的子结点中调整为$\hat{r} w_x $.直观地看， 这就是让同一个样本以不同的概率划入到不同的子结点中去。

5. 多变量决策树

   ​ 若我们爸每个属性视为坐标空间中的一个坐标轴， 则$d$个属性描述的样本就对应了$d$维空间中的一个数据点， 对样本分类以为着在这个坐标空间中寻找不同类样本之间的分类边界。决策树所形成的分类边界有一个明显的特点：轴平行， 即它的分类边界由若干个与坐标轴平行的分段组成。

树的内容很简单，后续会开一门专题的实践编程帖…