《统计学习方法》算法学习笔记（四）之 决策树（中）

决策树

3 决策树的生成

3.1 ID3算法

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体算法是：从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归调用以上方法，构建决策树，直到所有特征的信息增益均很小或没有特征可以选择为止。ID3相当于用极大似然法进行概率模型的选择。
算法：ID3
输入：训练数据集$D$，特征$A$，阈值$ϵ$；
输出：决策树$T$.
（1）若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该结点的类标记，返回$T$；
（2）若$A=\varnothing$，则$T$为单结点树，并将$D$中实例最大的类$C_k$作为该结点的类标记，返回$T$；
（3）否则，按上述信息增益算法计算$A$中各特征对$D$的信息增益，选择信息增益最大的特征$A_g$；
（4）如果$A_g$的信息增益小于阈值$ϵ$，则置$T$为单结点树，并将$D$中实例最大的类$C_k$作为该结点的类标记，返回$T$；
（5）否则，对$A_g$的每一可能值$a_i$，依 A g = a i