9.决策树

#####9 决策树#####
#从理论上构建决策树
#1. 决策树的生成
#2. 生成数的剪枝

#分类树和回归树
#分类树是针对于目标变量为离散型的情况，即最终目标是预测各样本的所属类别。
#回归树适用于目标变量为连续型。

#####9.1.3 常用算法#####
#CART和C4.5
#分类回归树CART，即可以建立分类树也可以建造回归树的算法。它是许多集成分类
#算法的基分类器。如Boosting和Random Forests等都以此为基础。
#C4.5是ID3的改进算法，两者都以熵理论和信息增益为基础。其算法的精髓所在，即
#是使用熵值或者信息增益值来确定使用哪个变量作为各节点的判定变量。

#####9.2 R中的实现#####
#算法名称 软件包       核心函数
#         rpart        rpart(),prune.rpart(),post()
#CART     rpart.plot   rpart.plot()
#         maptree      draw.tree()

#C4.5     RWeka        J48()

#####9.2.2 核心函数#####
#1. rpart函数
#rpart(formula, data, weights, subset, na.action=na.rpart, method, model=FALSE,
#     x=FALSE, y=TRUE, parms, control, cost, ...)

#其中，formult中放置想要建立模型的公式，即设置输入输出变量，格式为y~x1+x2+x3，当
#输出变量为了除了y的所有变量时，也可以用y~.来表示；data为待训练数据集；subset可
#以选择出data中的若干行样本来建立模型。
#na.action用来处理缺失值，其默认选择为na.rpart，即仅提出缺失y值，或缺失所有输入
#变量值的样本；method参数用于选择决策树的类型，包括anova、poisson、class和exp4种
#类型，在不进行设置时，R会自己来猜测，比如当y为因子变量时，默认取class型。其中，
#anova型对于与我们所说的回归树，而class型则为分类树。
#control参数可参照rpart.control,即：

#rpart.control(minsplit=20, minbucket=round(minsplit/3), cp=0.01, maxcompete=4,
#   maxsurrogate=5, usesurrogate=2, xval=10, surrogatestyle=0, maxdepth=30,...)

#其中，minsplit表示每个节点中所含样本数的最小值，默认为20；minbucket则表示所含每
#个叶节点中所含样本数的最小值，默认取1/3的minsplit的四舍五入值；cp,即指复杂度参
#数，假设我们设置了cp=0.03,则表明在建模过程中仅保留可以使得模型拟合程度提升0.03及
#以上的节点，该参数的作用在于可以通过减去对模型贡献不大的分支，来提高算法效率；
#maxdepth可控制数的高度，即设置节点层次的最大值，其中根节点的高度为0，以此类推。

#2. prune.rpart函数
#函数prune.rpart()可根据cp值对决策树进行剪枝，即减去cp值较小的不重要的分支。其格
#式为prune(tree,cp,...),放入决策树名称及cp值即可。

#3. rpart.plo