决策树

决策树

作者：$little-xu$

时间：$2021/1/18$

基本流程

Conception

一般情况，一棵决策树包含一根根节点，若干个内部节点和若干个叶节点；叶节点对应决策结果，其他每个节点对应属性测试。举例，当我们买西瓜，可以从多方面色泽，根蒂，敲声，纹理，脐部，触感等方面来逐次判断他是否是一个好西瓜。而此时这些属性就类比决策树中的节点。

决策树学习的目的是产生一棵泛化能力强(处理未见示例能力强的决策树)，分而治之

划分选择

信息增益

决策树的分支节点所包含样本尽可能属于同一类别，即节点的"纯度"越来越高

信息熵定义:

$$\begin{array}{r}Ent(D)=-\sum _{k=1}^{|y|}{p}_k{\log }_2{p}_k\end{array}$$

其中当前样本$D$中第$k$类样本所占比例为$p_k(k=1,2,\cdots ,|\mathbf{y}|)$,$Ent(D)$的值越小，则$D$的纯度越小.

$$\begin{array}{r}Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{D^v}{D}Ent(D^v)\end{array}$$

其中离散属性$a$有$V$个可能取值 { a 1 , a 2 , ⋯   , a V } \{a^1,a^2,\cdots,a^V\} { a1,a2,⋯,aV},就是对属性进行$v$次划分，比如我们可以根据色则进行划分青绿，乌黑，浅白。第$v$个分支节点包含$D$所有在属性$a$在属性$a$上取值为$a^v$的样本，比如我们把$D$中所有青绿的记为$D^{青绿}$。分枝结点赋予权重$\frac{|D^v|}{|D|}$，计算出$D^{青绿}$的信息熵$Ent(D^v)$。则可以计算划分后信息熵的增加.

编号	色泽	根蒂	敲声	纹理	脐部	触感	好瓜
1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	是
2	乌黑	蜷缩	沉闷	清晰	凹陷	硬滑	是
3	乌黑	蜷缩	浊响	清晰	凹陷	硬滑	是
4	青绿	蜷缩	沉闷	清晰	凹陷	硬滑	是
5	浅白	蜷缩	浊响	清晰	凹陷	硬滑	是
6	青绿	稍蜷	浊响	清晰	稍凹	软粘	是
7	乌黑	稍蜷	浊响	稍糊	稍凹	软粘	是
8	乌黑	稍蜷	浊响	清晰	稍凹	硬滑	是
9	乌黑	稍蜷	沉闷	稍糊	稍凹	硬滑	否
10	青绿	硬挺	清脆	清晰	平坦	软粘	否
11	浅白	硬挺	清脆	模糊,	平坦	硬滑	否
12	浅白	,蜷缩	浊响	模糊	平坦	软粘	否
13	青绿	稍蜷	浊响	稍糊	凹陷	硬滑	否
14	浅白	稍蜷	沉闷	稍糊	,凹陷	硬滑	否
15	乌黑	,稍蜷	浊响	清晰	稍凹	软粘	否
16	浅白	蜷缩	浊响	模糊	平坦	硬滑	否
17	青绿	蜷缩	沉闷	稍糊	稍凹	硬滑	否

根节点包含$D$中所有好瓜坏瓜样例，其中正例占$p_1=\frac{8}{17}$,反例占$p_2=\frac{9}{17}$,根节点信息熵为

$$\begin{array}{r}Ent(D)=-\sum _{k=1}^2{p}_k{\log }_2{p}_k=-(\frac{8}{17}{\log }_2\frac{8}{17}+\frac{9}{17}{\log }_2\frac{8}{17})=0.998\end{array}$$

以色泽为属性

$D^{青绿}$包含编号 { 1 , 4 , 6 , 10 , 13 , 17 } \{1,4,6,10,13,17\} { 1,4,6,10,13,17},好瓜占$\frac{3}{6}$,坏瓜占$\frac{3}{6}$。

$D^{乌黑}$包含编号 { 2 , 3 , 7 , 8 , 9 , 15 } \{2,3,7,8,9,15\} { 2,3,7,8,9,15},好瓜占$\frac{4}{6}$,坏瓜占$\frac{2}{6}$。

$D^{浅白}$包含编号 { 5 , 11 , 12 , 14 , 16 } , \{5,11,12,14,16\}, { 5,11,12,14,16},好瓜占$\frac{1}{5}$,坏瓜占$\frac{4}{5}$。

则由信息熵的公式可以分别计算出

$$\begin{array}{rl}Ent(D^{青绿})& =-(\frac{3}{6}{\log }_2\frac{3}{6}+\frac{3}{6}{\log }_2\frac{3}{6})=1.0000\\ Ent(D^{乌黑})& =-(\frac{4}{6}{\log }_2\frac{4}{6}+\frac{2}{6}{\log }_2\frac{2}{6})=0.918\\ Ent(D^{青绿})& =-(\frac{1}{5}{\log }_2\frac{1}{5}+\frac{4}{5}{\log }_2\frac{4}{5})=0.722\end{array}$$

则色泽的信息增益为

$$\begin{array}{rl}Gain(D,色泽)& =Ent(D)-\sum _{v=1}^3\frac{D^v}{D}Ent(D^v)\\ & =0.998-(\frac{6}{17}\times 1.000+\frac{6}{17}\times 0.918+\frac{5}{17}\times 0.722)\\ & =0.109\end{array}$$

同理可得

$$\begin{array}{rl}Gain(D,根蒂)& =0.143;Gain(D,敲声)=0.141;\\ Gain(D,纹理)& =0.381;Gain(D,脐部)=0.289;\\ Gain(D,触感)& =0.006\end{array}$$

注:$ID3$决策树一般而言，信息增益越大，则意味着属性$a$来进行的划分"纯度提升越大",所以选择属性$a_{\ast }=\underset{a\in A}{\mathrm{argmax}}Gain(D,a)$划分

不难看出纹理的信息增益最大，意味着好瓜是最多的，所以选择纹理为划分属性使用 Typora 画图（类图、流程图、时序图）

以纹理为清晰为例

$D^{清晰}$包含编号 { 1 , 2 , 3 , 4 , 5 , 6 , 8 , 10 , 15 } \{1,2,3,4,5,6,8,10,15\}