模式识别——第9章 决策树

9.1 什么是决策树

决策树是一种监督学习。一棵决策树由分支结点、分支和叶结点构成。

每个内部结点表示一个属性上的测试，每个分支代表一个测试输出，每个叶结点代表一种类别或类的分布。

优点：可读性好，具有描述性，有助于人工分析；

​ 效率高。一次构建，重复使用，每次预测的最大计算次数不超过树的深度。

9.2 属性选择的几个度量

1. 期望信息或信息熵

表示任意样本集的纯度,样本内部的混乱程度与熵值成正比。

设 $D$ 为数据集合（含有 $s=|D|$ 个样本），类别属性具有 $m$ 个不同值 $v_i(i=1,2,\cdot \cdot \cdot ,m)$，即分为 $m$ 个类：${\omega }_i(i=1,2,\cdot \cdot \cdot ,m)$。$s_i$ 是 ${\omega }_i$ 类中的样本数，$s_i=|{\omega }_i|$，$p_i$ 是任意样本属于类 ${\omega }_i$ 的概率，$p_i$ 用 $s_i/s$ 估计，即 $p_i=s_i/s,s=s_1+s_2+\cdot \cdot \cdot +s_m$，则样本分类的期望信息为：
$$Info(D)=I(s_1,s_2,\cdot \cdot \cdot ,s_m)=E(p_1,p_2,\cdot \cdot \cdot ,p_m)=-\sum _{i=1}^m{p}_i{\log }_2{p}_i=-\sum _{i=1}^m\frac{s_i}{s}{\log }_2\frac{s_i}{s}$$
其中，定义 ${\log }_{2}0=0$。

$E$ 满足下列特性：

1）非负性
$$E(p_1,p_2,\cdot \cdot \cdot ,p_m)\ge 0$$
2）确定性
$$E(1,0)=E(0,1)=E(0,1,0,\cdot \cdot \cdot )=0$$
3）上凸性
$$\begin{gathered} E(\lambda p+(1-\lambda )q)>\lambda E(p)+(1-\lambda )E(q) \\ 其中0<\lambda <1 \end{gathered}$$

2. 属性熵

属性熵是指该属性为非类别属性情况下划分数据集为子集而计算的一种度量。

设非类别属性 $A$ 具有 $v$ 个不同值 { a 1 , a 2 , ⋅ ⋅ ⋅ , a v } \{a_1,a_2,···,a_v\} {a1​,a2​,⋅⋅⋅,av​}。利用 $A$ 将数据集合 $D$ 划分为 $v$ 个子集：$S_1,S_2,\cdot \cdot \cdot ,S_v$，其中 $S_j$ 包含 $D$ 中在属性 $A$ 上取值为 $a_j$ 的样本。记 $s_{ij}$ 是子集 $S_j$ 中属于类 ${\omega }_j$ 的样本数，即 s i j = ∣ { x ∣ x ∈ S j ⋀ x ∈ ω i } ∣ , s = ∣ D ∣ s_{ij}=|\{ x|x\in S_j \bigwedge x\in \omega_i\}|,s=|D| sij​=∣{x∣x∈Sj​⋀x∈ωi​}∣,s=∣D∣。非类别属性 $A$ 的熵：
$$\begin{gathered} E(A,D)=\sum _{j=1}^v\frac{s_{1j}+s_{2j}+\cdot \cdot \cdot +s_{mj}}{s}I(s_{1j},s_{2j},\cdot \cdot \cdot ,s_{mj}) \\ I(s_{1j},s_{2j},\cdot \cdot \cdot ,s_{mj})=-\sum _{i=1}^m\frac{s_{ij}}{s_j}{\log }_2\frac{s_{ij}}{s_j} \end{gathered}$$

3. 信息增益

信息增益是定义属性分类训练数据效力的度量标准。简单地说，一个属性的信息增益就是由于使用这个属性分割样例而导致的期望熵降低（样本按照某属性划分时造成熵减少的期望）。

一个属性 $A$ 相对样例集合 $D$ 的信息增益 $Gain(A)$ 被定义为
$$Gain(A,D)=Info(D)-E(A,D)=I(s_1,s_2,\cdot \cdot \cdot ,s_m)-E(A,D)$$

4. 信息增益比

信息增益比是衡量属性分裂数据的广度和均匀性。

一个属性的分裂信息定义为：
$$SplitInfo(A,D)=-\sum _{i=1}^v\frac{|S_i|}{|D|}{\log }_2\frac{|S_i|}{D}$$
其中，$S_1,S_2,\cdot \cdot \cdot ,S_v$ 是属性 $A$（$v$ 个值）分割 $D$ 而形成的 $v$ 个子集。实际上，分裂信息是 $D$ 关于属性 $A$ 的各值的熵。

一个属性的信息增益比定义为：
$$GainRatio(A,D)=\frac{Gain(A,D)}{SplitInfo(A,D)}$$

5. 基尼指标

定义为：
$$Gini(D)=\sum _{j=1}^m{p}_j(1-p_j)=1-\sum _{j=1}^m{p_j}^2$$
其中，$p_j$ 为类 $j$ 出现的频率，通常有 $p_j=\frac{|S_j|}{|D|}$。

基尼指标主要在 $CART$ 算法中使用。用于二分情况的选择。

如果按属性 $A$ 将数据集 $D$ 划分成两个子集 $S_1,S_2$，则分割后的 ${Gini}_{split}$ 是
$${Gini}_{split}(D)=\frac{N_1}{N}Gini(S_1)+\frac{N_2}{N}Gini(S_2)$$
其中， $N_1=|S_1|,N_2=|S_2|,N=|D|$。

9.3 matlab代码

%旧版本
function [result]=DecisionTree(X,Y,Z)
%X为二维矩阵，每行代表一个样本
%Y为单元矩阵，每个元素为单字符型，如y={'1','1','2','2'}
%Z为待识样本，为行向量，其长度与X每行的长度相同
t=classregtree(x,y);	%建立决策树
result=treeval(t,Z)		%对Z进行分类
sfit=t.classname(result);	
result=str2num(sfit{1,1})	%获得分类结果
treedisp(t);	%显示分类结果

%新版本
function [result]=DecisionTree(X,Y,Z)
%X为二维矩阵，每行代表一个样本
%Y为单元矩阵，每个元素为单字符型，如y={'1','1','2','2'}
%Z为待识样本，为行向量，其长度与X每行的长度相同
t=fitctree(X,Y);
result=predict(t,Z);
view(t)