决策树与R语言(RPART)

关于决策树理论方面的介绍,李航的《统计机器学习》第五章有很好的讲解。

传统的ID3和C4.5一般用于分类问题,其中ID3使用信息增益进行特征选择,即递归的选择分类能力最强的特征对数据进行分割,C4.5唯一不同的是使用信息增益比进行特征选择。

特征A对训练数据D的信息增益g(D, A) = 集合D的经验熵H(D) - 特征A给定情况下D的经验条件熵H(D|A)

特征A对训练数据D的信息增益比r(D, A) = g(D, A) / H(D)

而CART(分类与回归)模型既可以用于分类、也可以用于回归,对于回归树(最小二乘回归树生成算法),需要寻找最优切分变量和最优切分点,对于分类树(CART生成算法),使用基尼指数选择最优特征。


参考自博客,一个使用rpart完成决策树分类的例子如下:

[plain] view plain copy 在CODE上查看代码片 派生到我的代码片
  1. library(rpart);  
  2.   
  3. ## rpart.control对树进行一些设置  
  4. ## xval是10折交叉验证  
  5. ## minsplit是最小分支节点数,这里指大于等于20,那么该节点会继续分划下去,否则停止  
  6. ## minbucket:叶子节点最小样本数  
  7. ## maxdepth:树的深度  
  8. ## cp全称为complexity parameter,指某个点的复杂度,对每一步拆分,模型的拟合优度必须提高的程度  
  9. ct <- rpart.control(xval=10, minsplit=20, cp=0.1)  
  10.   
  11. ## kyphosis是rpart这个包自带的数据集  
  12. ## na.action:缺失数据的处理办法,默认为删除因变量缺失的观测而保留自变量缺失的观测。           
  13. ## method:树的末端数据类型选择相应的变量分割方法:  
  14. ## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”  
  15. ## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法(gini和information)  
  16. ## cost我觉得是损失矩阵,在剪枝的时候,叶子节点的加权误差与父节点的误差进行比较,考虑损失矩阵的时候,从将“减少-误差”调整为“减少-损失”  
  17. fit <- rpart(Kyphosis~Age + Number + Start,  
  18.     data=kyphosis, method="class",control=ct,  
  19.     parms = list(prior = c(0.65,0.35), split = "information"));  
  20.   
  21. ## 第一种  
  22. par(mfrow=c(1,3));  
  23. plot(fit);  
  24. text(fit,use.n=T,all=T,cex=0.9);  
  25.   
  26. ## 第二种,这种会更漂亮一些  
  27. library(rpart.plot);  
  28. rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102,  
  29.            shadow.col="gray", box.col="green",  
  30.            border.col="blue", split.col="red",  
  31.            split.cex=1.2, main="Kyphosis决策树");  
  32.   
  33. ## rpart包提供了复杂度损失修剪的修剪方法,printcp会告诉分裂到每一层,cp是多少,平均相对误差是多少  
  34. ## 交叉验证的估计误差(“xerror”列),以及标准误差(“xstd”列),平均相对误差=xerror±xstd  
  35. printcp(fit);  
  36.   
  37. ## 通过上面的分析来确定cp的值  
  38. ## 我们可以用下面的办法选择具有最小xerror的cp的办法:  
  39. ## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])  
  40.   
  41. fit2 <- prune(fit, cp=0.01);  
  42. rpart.plot(fit2, branch=1, branch.type=2, type=1, extra=102,  
  43.            shadow.col="gray", box.col="green",  
  44.            border.col="blue", split.col="red",  
  45.            split.cex=1.2, main="Kyphosis决策树");  

效果图如下:


这是一篇相关的论文。

  • 12
    点赞
  • 101
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值