基于R语言分析决策树和随机森林(1)

决策树和随机森林是机器学习的一个重要内容。今天主要来说说决策树，决策树分为传统的决策树和条件决策树，传统决策树（rpart包实现）主要是基于：基尼不纯度（Gini Impurity）或信息增益（Information Gain）等标准对节点进行递归分割。条件决策树会根据条件分布测量变量与响应值（分类）之间的相关关系，选择分割节点中要使用的变量，可以改善rpart包过度拟合的问题。今天我们主要来聊聊条件决策树，假如你是一个银行的经理，有客户来向你贷款，对于还款能力强（低风险）的客户，你肯定愿意贷款给他，而对于还款能力差（高风险）的客户，你肯定不愿意贷款给他。那么，我们怎么评定对一个客户进行风险评估呢，肯定是基于既往的数据根据他的职业、收入、负债、资产等等做评估，大概就是下图这样做了一个分类的决策，我们的决策树大概就是这样的一个操作原理 ，等于机器算法帮你做了决策。

我们今天来使用SPSS自带的一个银行1500例客户进行风险划分的数据集，来做一个条件决策树，R语言需要使用到party、caret、pROC、foreign包需要事先下载好
我们先导入数据看下数据结构

library(foreign)
library(pROC)
library(party)
library(caret)
library(ggplot2)
bc <- read.spss("E:/r/test/bankloan_cs.sav",
                use.value.labels=F, to.data.frame=T)

前面3项是ID号，后面3项是预测概率和权重，我们先不理他。我们来看看中间的项目指标：Age年龄，ed教育程度，employ在职雇主的年限，address在这个地方住的时间income收入，debtinc债务收入比，creddebt信用卡债务，othdebt其他债务，最后一个default是我们的结局指标，即是否是高风险客户。
其中ed教育程度、default是分类变量，我们要进行转换一下

bc$default<-as.factor(bc$default)
bc$ed<-as.factor(bc$ed)

接下来要把数据分成预测集和验证集（就是一个建模，一个验证），要先设一个种子，这样有可重复性

###建立预测和验证集
sub<-sample(1:nrow(bc),round(nrow(bc)*2/3))
length(sub)
data_train<-bc[sub,]#取2/3的数据做训练集
data_test<-bc[-sub,]#取1/3的数据做测试集
###训练集建立模型
fit<-ctree(default ~age+ed+employ+address+income+debtinc+creddebt+othdebt,
           data=data_train,controls = ctree_control(maxsurrogate = 3))
fit
plot(fit)

得到如下结果，可以看到第一级的分支从debtinc债务收入比是否大于16进行分割

表不好理解的话看图就容易理解多了，债务比大于16的对工作年限进行了划分，小于6年的就是高风险人群，属于不能贷款类型。

接下来我们进行交叉验证评估模型的验证能力，先在验证集生成预测模型的概率

ctree.predict = predict(fit,data_test)##验证集生成预测概率
bd<-table(ctree.predict,data_test$default)#以表格形式表示
bd

我们可以看到预测0还是挺准的，1就差点了，通过混淆矩阵可以计算出AUC和95%CI

confusionMatrix(bd)##通过混淆矩阵来计算AUC

我们还可以通过treeresponse函数把概率提取出来

tr = treeresponse(fit,newdata =data_test )##利用treeresponse提取概率
be<-do.call(rbind.data.frame,tr)##把列表变成数据框形式
colnames(be)<-c("yes","no")#数据太长，重新命名
roc2<-roc(data_test$default,be$no)##生成验证队列AUC，有人可能要问这里为什么用no，不用yes，其实都是一样的
round(auc(roc2),3)##AUC
round(ci(roc2),3)##95%CI
plot(1-roc2$specificities,roc2$sensitivities,col="red",
     lty=1,lwd=2,type = "l",xlab = "specificities",ylab = "sensitivities")
abline(0,1)
legend(0.7,0.3,c("auc=0.753","ci:0.711-0.759"),lty=c(1),lwd=c(2),col="red",bty = "n")

和混淆矩阵算出来的AUC差不多，稍微高了一点，我看别人算也是高了一点，个人感觉这样提取概率算出来更加准确，决策树由于随机性导致误差稍高，我们可以通过随机森林来减少误差和优化模型，下节将继续介绍随机森林。
更多精彩文章请关注公众号：零基础说科研