关闭

2、决策树ID3、C4.5、CART

687人阅读 评论(0) 收藏 举报
分类:

转自http://blog.csdn.net/qq_16365849/article/details/50644476#

决策树

1、决策树概念

决策树(decision tree)也称为分类树(分类)或者回归树(数值预测)。是一种有监督的机器学习算法,是一个分类算法。在给定训练集的条件下,生成一个自顶而下的决策树,树的根为起点,树的叶子为样本的分类,从根到叶子的路径就是一个样本进行分类的过程。 
决策树(decision tree):是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。决策树优点:1)模型容易展示:决策树模型可读性好,具有描述性,有助于人工分析;2)效率高,决策树只需要一次构建,反复使用。3)训练时间复杂度较低,预测的过程比较快速,每一次预测的最大计算次数不超过决策树的深度

2、ID3、C4.5、CART的区别

一)ID3算法:只能处理离散型的数据

ID3算法用于决策树建立的过程: 
(1)对于当前的所有样本集合,计算每个属性的信息增益(即划分前后数据集的熵的差异) 
(2)选择信息增益最大的属性(假设为Ai) 
(3)把在Ai处取值相同的样本归于同一个子集,Ai有几个属性,就合成几个子集 
(4)重复以上的三个过程,直到结束(熵值为0或者一个阈值) 
ID3算法使用的是自顶向下的贪婪搜索遍历可能的决策树空间构造,属于局部最优,不一定全局最优。

停止条件为: 
1)该节点的所有样本属于同一类,该节点成为叶节点,存放相应的类别。 
2)所有的属性都已被父节点或祖先使用。这种情况下,该节点成为叶节点,并以样本中元组个数最多的类别作为类别标记,同时也可以存放该结点样本的类别分布。

缺点: 
1)容易造成过度拟合(over fitting); 
2)只能处理标称型数据(离散型); 
3)信息增益的计算依赖于特征数目较多的特征,而属性取值最多的属性并不一定最优; 
4)抗噪性差,训练例子中正例和反例的比例较难控制

二)C4.5算法:

可以处理连续型和离散型的数据,处理连续型的数据时和CART的回归树处理方法类似 
C4.5是另一种决策树构造算法,它是上文ID3的一个改进。主要的差别如下: 
(1)用信息增益率代替信息增益来选择属性,ID3选择属性用的是子树的信息增益,而C4.5用的是信息增益率。克服了用信息增益选择属性时偏向选择取值多的属性的不足。 
(2)在树构造过程中进行剪枝。合并相邻的无法产生大量信息增益的叶节点,消除过渡匹配问题。 
(3)既能处理标称型数据,又能连续型数据。为了处理连续型数据,该算法在相应的节点使用一个属性的阈值,利用阈值将样本划分成两部分。 
(4)能处理缺失了一些属性的数据。该算法允许属性值缺失时被标记为?,属性值缺失的样本在计算熵增益时被忽略。 
C4.5的优点:产生的分类规则易于理解,准确率较高。 
C4.5的缺点: 
1:算法低效,在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导致算法的低效 
2:内存受限,只适合于能够驻留于内存的数据集,当训练集大得无法在内存容纳时程序无法运行。 
另外,无论是ID3还是C4.5最好在小数据集上使用,决策树分类一般只适用于小数据。当属性取值很多时最好选择C4.5算法,ID3得出的效果会非常差。

三)CART算法(Classification And Regression Tree):回归树

CART中文叫分类与回归树,既可以用于分类也可以用于回归,回归树其实并没有使用线性回归,而是使用到达叶子节点的样本的均值。CART(分类与回归)模型既可以用于分类、也可以用于回归,对于回归树(最小二乘回归树生成算法),需要寻找最优切分变量和最优切分点,对于分类树(CART生成算法),使用基尼指数选择最优特征。 
CART也是决策树的一种生成算法,主要的差别在于CART的决策是二叉树的,它同样可以处理离散值,但是,只能选择其中一种来把数据分成两个部分。 
CART与ID3区别:ID3和CART算法的区别主要集中在树的生成和树的修剪方面,但是ID3算法只能处理离散型的描述性属性 
1)CART中用于选择属性的不纯性度量是Gini指数; 
2)如果目标变量是标称的,并且是具有两个以上的类别,则CART可能考虑将目标类别合并成两个超类别(双化); 
3)如果目标变量是连续的,则CART算法找出一组基于树的回归方程来预测目标变量。

回归树的缺点:不如线性回归普遍;要求大量训练数据;难以确定某个特征的整体影响;比线性回归模型难解释

基尼不纯度是一种度量集合有多纯的方法,如果集合里面的值都是一个数的话,则基尼不纯度的值为0,随着混合的东西越多,则基尼不纯度值越高。 
“熵”是对混乱程度的度量,越乱熵越大,与之相对应的概念是“序”,就是有规律。越有序,越纯,熵越小;越乱,熵越大,越不纯。

总结:

总体内包含的类别越杂乱,GINI指数就越大(跟熵的概念很相似),最好的划分就是使得GINI_Gain最小的划分。 
1、 决策树度量方式的选择: 
1) 信息增益:倾向多值属性; 
2) 增益率:倾向不平衡分裂,其中一个子集比其它小很多; 
3) Gini index:偏向多值属性;当类数目较大时,计算困难;倾向导致大小相等的分区和纯度。 
2、决策树解决过度拟合 
过度拟合:也就是该决策树对训练数据可以得到很低的错误率,但是运用到测试数据上却得到非常高的错误率。过渡拟合的原因有以下几点: 
①噪音数据:训练数据中存在噪音数据,决策树的某些节点有噪音数据作为分割标准,导致决策树无法代表真实数据。 
②缺少代表性数据:训练数据没有包含所有具有代表性的数据,导致某一类数据无法很好的匹配,这一点可以通过观察混淆矩阵(Confusion Matrix)分析得出。 
③多重比较(Mulitple Comparition):举个列子,股票分析师预测股票涨或跌。假设分析师都是靠随机猜测,也就是他们正确的概率是0.5。每一个人预测10次,那么预测正确的次数在8次或8次以上的概率为 0.0547,只有5%左右,比较低。但是如果50个分析师,每个人预测10次,选择至少一个人得到8次或以上的人作为代表,那么概率为 0.9399,概率十分大,随着分析师人数的增加,概率无限接近1。但是,选出来的分析师其实是打酱油的,他对未来的预测不能做任何保证。上面这个例子就是多重比较。这一情况和决策树选取分割点类似,需要在每个变量的每一个值中选取一个作为分割的代表,所以选出一个噪音分割标准的概率是很大的。

优化方案1:修剪枝叶 
决策树过渡拟合往往是因为节点过多,所以需要裁剪(Prune Tree)枝叶。裁剪枝叶的策略对决策树正确率的影响很大。主要有两种裁剪策略: 
①前置裁剪:在构建决策树的过程时,提前停止。那么,会将切分节点的条件设置的很苛刻,导致决策树很短小。结果就是决策树无法达到最优。实践证明这中策略无法得到较好的结果。 
②后置裁剪:决策树构建好后,然后才开始裁剪。采用两种方法:1)用单一叶节点代替整个子树,叶节点的分类采用子树中最主要的分类;2)将一个字数完全替代另外一颗子树。后置裁剪有个问题就是计算效率,有些节点计算后就被裁剪了,导致有点浪费。

优化方案2:K-Fold Cross Validation 
首先计算出整体的决策树T,叶节点个数记作N,设i属于[1,N]。对每个i,使用K-Fold Validataion方法计算决策树,并裁剪到i个节点,计算错误率,最后求出平均错误率。这样可以用具有最小错误率对应的i作为最终决策树的大小,对原始决策树进行裁剪,得到最优决策树。

优化方案3:Random Forest 
Random Forest是用训练数据随机的计算出许多决策树,形成了一个森林。然后用这个森林对未知数据进行预测,选取投票最多的分类。实践证明,此算法的错误率得到了进一步的降低。这种方法背后的原理可以用“三个臭皮匠定一个诸葛亮”这句谚语来概括。一颗树预测正确的概率可能不高,但是集体预测正确的概率却很高。 
3、与其他算法比较及用到的函数和包 
决策树与K-近邻相比:k-近邻算法也可以完成很多分类任务,但是他的缺点就是含义不清,说不清数据的内在逻辑,而决策树则很好地解决了这个问题,他十分好理解。


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:415652次
    • 积分:8256
    • 等级:
    • 排名:第2536名
    • 原创:390篇
    • 转载:276篇
    • 译文:0篇
    • 评论:30条
    联系方式
    E-mail:gwh_mail@qq.com QQ:1440156051
    最新评论