10.集成学习

#####10 集成学习#####
#集成学习是近年来机器学习领域中的研究热点之一。经典的两个集成算法是Bagging和
#AdaBoost,它们分别以某种巧妙的方式将若干基分类器的预测结果进行综合，已达到显
#著提示分类效果的目的。

#####10.2.2 核心函数#####
#1. bagging函数
#bagging(formula,data,mfinal=100,control)
#formula表示用于建模的公式，格式为y~x1+x2+x3;data中放置待训数据集；mfinal表示
#算法的迭代次数，即基分类器的个数，可设置为任意整数，缺失值为100；这里的
#control参数与rpart()函数中的相同，用于控制基分类器的参数。

#2. boosting函数
#函数boosting()中的Adaboost算法以分类树为基分类器，其基本格式为
#boosting(formula,data,boos=TRUE,mfinal=100,coeflearn='Breiman',control)
#其中formula、data、mfinal及control参数与bagging()中完全相同，不再解释；boos参数
#用于选择在当下的迭代过程中，是否用各种观测样本的相应权重来抽取boostrap样本，其默
#认值为TRUE，如果取FALSE，则每个观测样本的相应权重在迭代过程中被使用；coeflearn用
#于选择权重更新系数alpha的计算方式，默认取Breiman,即alpha=1/2ln((1-err)/err),另外
#也可更改设置为"Freund"或"Zhu"。

#####10.2.3 数据集#####
#本章使用UCI Machine Learning Repository数据库中的Bank Marketing数据集，该数据集来
#自于某葡萄牙银行机构的一个基于电话跟踪的商业