【机器学习-决策树模块-基础算法-2)C4.5算法】

承接上一篇决策树ID3算法:http://blog.csdn.net/qq_36396104/article/details/79278779

二、C4.5

C4.5算法是Quinlan提出的一系列算法，包括C4.5 决策树、C4.5剪枝和 C4.5规则（C4.5 Tree-C4.5Pruning-C4.5Rules）。它继承了ID3算法的优点，并对ID3算法进行了改进：

C4.5克服了ID3的4个缺点：

 ·1）对于第一个问题，不能处理连续特征， C4.5的思路是将连续的特征离散化。比如m个样本的连续特征A有m个，从小到大排列为a1,a2,...,ama1,a2,...,am,则C4.5取相邻两样本值的平均数，一共取得m-1个划分点，其中第i个划分点Ti表示Ti表示为：Ti=ai+ai+12Ti=ai+ai+12。对于这m-1个点，分别计算以该点作为二元分类点时的信息增益。选择信息增益最大的点作为该连续特征的二元离散分类点。比如取到的增益最大的点为atat,则小于atat的值为类别1，大于atat的值为类别2，这样我们就做到了连续特征的离散化。要注意的是，与离散属性不同的是，如果当前节点为连续属性，则该属性后面还可以参与子节点的产生选择过程。

　　·2）对于第二个问题，信息增益作为标准容易偏向于取值较多的特征的问题。我们引入一个信息增益比的变量IR(X,Y)IR(X,Y)，它是信息增益和特征熵的比值。表达式如下：

  

　　　　其中D为样本特征输出的集合，A为样本特征，对于特征熵HA(D)HA(D), 表达式如下：

  

　　　　其中n为特征A的类别数， DiDi为特征A的第i个取值对应的样本个数。D为样本个数。

　　　　特征数越多的特征对应的特征熵越大，它作为分母，可以校正信息增益容易偏向于取值较多的特征的问题。

C4.5中计算“信息增益率”(信息增益率使用“分裂信息”值将信息增益规范化,选择具有最大增益率的属性作为分裂属性):基础知识这里不再赘述：

 点击打开链接：（http://blog.csdn.net/qq_36396104/article/details/79275836）

　　 ·3） 对于第三个缺失值处理的问题，主要需要解决的是两个问题，一是在样本某些特征缺失的情况下选择划分的属性，二是选定了划分属性，对于在该属性上缺失特征的样本的处理。


　　　　对于第一个子问题，对于某一个有缺失特征值的特征A。C4.5的思路是将数据分成两部分，对每个样本设置一个权重（初始可以都为1），然后划分数据，一部分是有特征值A的数据D1，另一部分是没有特征A的数据D2. 然后对于没有缺失特征A的数据集D1来和对应的A特征的各个特征值一起计算加权重后的信息增益比，最后乘上一个系数，这个系数是无特征A缺失的样本加权后所占加权总样本的比例。


　　　　对于第二个子问题，可以将缺失特征的样本同时划分入所有的子节点，不过将该样本的权重按各个子节点样本的数量比例来分配。比如缺失特征A的样本a之前权重为1，特征A有3个特征值A1,A2,A3。 3个特征值对应的无缺失A特征的样本个数为2,3,4.则a同时划分入A1，A2，A3。对应权重调节为2/9,3/9, 4/9。

 ·4） 对于第4个问题，C4.5引入了正则化系数进行初步的剪枝。具体方法这里不讨论。下篇讲CART的时候会详细讨论剪枝的思路。

算法的整体过程其它与ID3差异不大：

决策树C4.5算法的不足：

C4.5虽然改进或者改善了ID3算法的几个主要的问题，仍然有优化的空间。
　　　　1)由于决策树算法非常容易过拟合，因此对于生成的决策树必须要进行剪枝。剪枝的算法有非常多，C4.5的剪枝方法有优化的空间。思路主要是两种，一种是预剪枝，即在生成决策树的时候就决定是否剪枝。另一个是后剪枝，即先生成决策树，再通过交叉验证来剪枝。
　　　　2)C4.5生成的是多叉树，即一个父节点可以有多个节点。很多时候，在计算机中二叉树模型会比多叉树运算效率高。如果采用二叉树，可以提高效率。
　　　　3)C4.5只能用于分类，如果能将决策树用于回归的话可以扩大它的使用范围。
　　　　4)C4.5由于使用了熵模型，里面有大量的耗时的对数运算,如果是连续值还有大量的排序运算。如果能够加以模型简化可以减少运算强度但又不牺牲太多准确性的话，那就更好了。

end

REF:http://www.cnblogs.com/pinard/p/6050306.html

-------------------------------------------------------------------------------------------------------------------------