CART(分类回归树)之回归树总结与树剪枝总结

    CART(分类回归树)之回归树总结与树剪枝总结   

 CART(Classification And Regression Trees,分类回归树)与分类算法中决策树ID3算法最大的不同点在于,决策树是一种贪心算法,其要在给定时间内做出最佳选择,但并不关心能否到达全局最优,不能直接处理连续型特征,且决策树特征切分份数由该特征值份数决定;分类回归树采用二元切分法(符合阈值条件进入左子树,否则进入右子树)来处理连续型变量,其不仅可以用于分类,还可以用于回归。

        通过遍历数据集中所有特征及各个特征的所有特征值,根据每个特征值进行二元切分,计算切分后误差(一般取叶子结点数值的方差和),取最小误差对应取值作为切分阈值,进行迭代,得到各个树节点对应切分特征与切分阈值。如果最后特征值数目为1或新切分后误差与当前误差比较减小不大或切分出数据集很小,则退出切分,返回叶子节点或返回切分特征或切分特征值。

剪枝(pruning)

剪枝处理是为了防止树过拟合,其又有预剪枝后剪枝之分。

预剪枝操作的一种为之前所属的根据切分数据集大小限制和新切分后误差与当前误差比较容限来提前终止切分。

后剪枝操作是通过比较叶子节点合并前后误差大小来进行,如果叶子结点合并后误差小于合并前,则进行剪枝,两个叶子节点合并,否则不合并(不进行剪枝操作)。

        以后有时间补例程。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值