决策树：原理，划分属性的选择和剪枝

用于分类问题，类型如下。

基本过程：生成节点，选择属性，划分子节点.222222234

输入：
一组样本D，样本D需要分类的属性集A
过程：

• 函数TreeGenerate(D, A)
  • 生成节点node
  • if D为属于同一类别，或需要分类的属性集A为空/相同
    • then 标记node
    • return
  • end if
  • 选择最优划分属性$a_{\ast }$
  • for $a_{\ast }$中每个取值$a_{\ast }^v$ do
    • 生成一个node，包含分支$D_{\ast }^v$
    • if $D_{\ast }^v$为空 then
      • 将node标记为D中众数类别
    • else
      • 以TreeGenerate($D_{\ast }^v$，A \ $a_{\ast }$ )为分支节点
  • return node

输出：
决策树的根节点

划分属性的选择

希望划分后节点中的样本尽量属于同一类别，“纯度”更高，用信息熵（entropy）来衡量节点“纯度”。
假设样本集D中有k个类别，每个类别所占比重为$p_i$，信息熵Ent(D)定义如下：
$$Ent(D)=-\sum _1^k{p}_{i}lo{g}_2{p}_i$$

一、基于信息熵增益

$$Gain(D,a)=Ent(D)-\sum _1^V\frac{|D^v|}{|D|}Ent(D^v)$$
即划分后的子集熵的加权和最小。
问题：某些类似“编号”的属性没有划分价值，却被衡量为最优划分属性。
解决：考虑属性取值的数量，数量越多，价值越低。

二、增益率

$$\begin{array}{r}Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}\\ 其中IV(a)=-\sum _1^V{q}_{i}lo{g}_2{q}_i\\ 其中q_i为取值为i的样本在所有样本中所占比例\end{array}$$

三、基尼指数

信息熵平替，随机抽取两个样本不一样的概率，基尼指数越小，样本集纯度越高。
$$Gini(D)=1-\sum _1^k{p}_i^2$$

问题：过拟合

深层次节点包含的样本数量少，不具有统计意义。

解决：剪枝

两种剪枝思路：

1. 边生成边剪枝（预剪枝）
2. 生成后剪枝（后剪枝）

后剪枝

1. 检测原决策树准确率
2. for 非叶节点 in 所有节点（自底向上）
   1. 计算剪枝后准确率
   2. if 准确率提升 then 剪枝
   3. else 不剪枝
      问题：这样做是不是把测试集也作为训练集了？
      

预剪枝

在得到最优划分属性后，通过验证集计算划分前后准确率，决定是否划分该属性。

1. 计算不划分该属性，决策树准确率p1
2. 计算划分该属性后，决策树准确率p2
3. if p2>p1 then 划分
4. else 不划分，标记节点为叶子节点