机器学习——决策树推导

目录

一、C4.5算法概述

二、计算经验熵

三、数据增益

四、生成决策树

五、决策树可视化

1. ID3

2. C4.5

六、TSVM求解

---

一、C4.5算法概述

while（当前节点“不纯”）：

        1.计算当前节点的类别熵Info(D)（以类别取值计算）
        2.计算当前节点的属性熵Info(Ai)（按照属性取值下的类别取值计算）
        3.计算各个属性的信息增益Gain(Ai) = Info(D) - Info(Ai)
        4.计算各个属性的分类信息度量H(Ai）（按照属性取值计算）
        5.计算各个属性的信息增益率 IGR = Gain(Ai) / H(Ai)
end while

当前节点设置为叶子节点

西瓜数据集2.0：

色泽

根蒂

敲声

纹理