C4.5决策树算法思想

前几天有小伙伴问到这个算法,于是想总结一下好了,毕竟是一个如此著名的算法,这里就重在思想啦~建议配合实际例子学习。

参考:1)周志华:《机器学习; 2)http://www.cnblogs.com/zhangchaoyang 作者:Orisun


       决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。其是一种监管学习,所谓监管学习就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类。以二分类任务为例,决策树算法希望从给定训练数据集学得一个模型,用以对新的示例进行分类,可以看作是“当前样本属于正样本吗”问题的“决策”过程。

       决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。

       在网上找到的以下决策树示意图中,我来假设决策树的背景环境,左边图通过某一类人相亲结果大数据下的评价,完成该决策树,以便对以后该类同学的相亲时候进行初步预测来节约时间;右边图通过大量这几类动物特征数据完成,以便以后机器对一张图片一个视频里动物的快速分析。


       为了通过大量数据,完成一个类似上图的决策树,就通过决策树算法实现。比较著名的决策树算法有ID3,C4.5,CART决策树等,其中,ICDM于2006年底评选数据挖掘十大经典算法,C4.5(分类决策树)居首,在这里讲一下C4.5决策树算法的主要思想。


决策树算法需要解决的两个主要问题:
1)先选择哪个属性,后选择哪个属性来进行分裂?2)什么时候树停止生长?


这里,C4.5算法是这样解决的:

1)用信息增益率来选择属性分裂;2)构造树的过程中进行剪枝操作降低过拟合风险。下面分别介绍。


1. 划分选择

       即选择最优划分属性,一般对着划分过程的不断进行,即希望决策树的分支节点所包含的样本尽可能属于同一类,即节点的“纯度”越来越高。

       这里引出“信息熵”的概念。“熵”是对混乱程度的度量,越乱熵越大,是一个度量样本集合纯度最常用的指标。划分节点处到底用哪个属性的时候,希望节点处属性纯度大,也就是熵更小。信息熵的计算公式如下:


       用划分前(父节点)的不纯度和划分后(子女节点)的不纯度的差来来衡量属性分裂的测试结果,该指标成为信息增益,也就是熵的差,计算公式如下:


       一般而言,信息增益越来,意味着用该属性进行划分所获得的“纯度提升”越大,因此可以作为划分属性的选择。ID3决策树即采用信息增益为准则选择划分属性。

       但是实际上,信息增益对可取值数目较多的属性有所偏好,为减少这种不利,C4.5决策树算法产生,其将信息增益替换成增益率,来选择最优划分属性,其公式如下:



2.剪枝处理

       剪枝处理通过主动去掉一些分支来降低决策树分支太多,来防止训练样本学习地太好(过拟合,把训练集自身的一些特点当做所有数据都具有的一般特性)的发生。在C4.5算法中,采用了悲观剪枝(PEP算法)的方法,使用训练集生成决策树,又用训练集来进行剪枝。

       悲观剪枝主要通过递归估算每个内部节点所覆盖样本节点的误判率,然后假设需要进行剪枝操作,则剪枝后该内部节点会变成一个叶子节点,该叶子节点的类别为原内部节点的最优叶子节点所决定。计算比较剪枝前后该节点的错误率来决定是否进行剪枝。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值