d2m-3-决策树

d2m-3-决策树

1. ID3
2. C4.5
3. CART
4. MARS

基本流程

输入：训练集$D=\{(x_1,y_1),...,(x_n,y_n)\}$, 特征集 A = { a 1 , . . , a m } A=\{a_1, .., a_m\} A={ a1​,..,am​}

过程：函数TreeGenerate(D, A)

1. 生成节点node
2. if D中样本完全属于同一类别C，then 将node标记为C类叶节点；return end if
3. if A空 or D中样本在A上取值相同 then 将node标记为D中样本数最多的类的叶节点；return end if
4. 从A中选择最优划分属性$a_{\ast }$，怎么选呢，如下
   1. 遍历A，计算划分准则来选择
5. for $a_{\ast }$的每一个值$a_{\ast }^v$ do
   1. 为node生成一个分支，令$D_v$表示D中在$a_{\ast }$上取值为$a_{\ast }^v$的样本子集
   2. if $D_v$为空，then 将node标记为D中样本数最多的类的叶节点；return
   3. else 以TreeGenerate($D_v$, A-{a_*})为分支节点 end if
      end for

输出：以node为根节点的一颗决策树

理论部分

ID3

算法步骤

1. 初始化信息增益阈值$\epsilon$
2. 判断样本是否为同一类输出$D_i$
    1. 如果是，则输出单节点树$T$，输出类别为$D_i$
    2. 如果不是，则判断特征集$A$是否为空
        1. 如果是空，则输出单节点树$T$, 输出类别为类别众数对应那个类别
        2. 如果不是，则从特征集$A$中遍历每个特征$A_i$，计算$H(D)-H(D|A)$，选取信息增益最大的那个特征$A_g$作为分裂点
            1. 如果信息增益小与$\epsilon$，则输出当前树$T_i$，输出类别为类别众数对应那个类别
            2. 如果不是，则将其分裂，并遍历所有子节点，令$D=D_i, A=A-\{A_g\}$，重复上述步骤，直到得到树

信息增益的计算方式

• 熵, 假定当前样本集合D中第k类样本所占的比例为$p_k(k=1,2,...,|y|)$

$$Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k$$

其中$x$是特征$X$的各个属性值

• 信息增益

$$Gain(D,$$