matlab决策树c4.5,python决策树之C4.5算法详解

本文为大家分享了决策树之C4.5算法，供大家参考，具体内容如下

1. C4.5算法简介

C4.5算法是用于生成决策树的一种经典算法，是ID3算法的一种延伸和优化。C4.5算法对ID3算法主要做了一下几点改进：

(1)通过信息增益率选择分裂属性，克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足；

(2)能够处理离散型和连续型的属性类型，即将连续型的属性进行离散化处理；

(3)构造决策树之后进行剪枝操作；

(4)能够处理具有缺失属性值的训练数据。

2. 分裂属性的选择——信息增益率

分裂属性选择的评判标准是决策树算法之间的根本区别。区别于ID3算法通过信息增益选择分裂属性，C4.5算法通过信息增益率选择分裂属性。

属性A的“分裂信息”(split information)：

其中，训练数据集S通过属性A的属性值划分为m个子数据集，|Sj|表示第j个子数据集中样本数量，|S|表示划分之前数据集中样本总数量。

通过属性A分裂之后样本集的信息增益：

信息增益的详细计算方法，可以参考博客“决策树之ID3算法及其Py