基于R语言的Kaggle案例分析学习笔记（八）

法国巴黎银行 Cardif Cardif Cardif索赔管理

本案例大纲

1、集成算法bagging与boosting

2、data.table包的补充讲解

3、xgboost算法案例应用

1、集成算法bagging与boosting

（1）bagging算法：

        bagging算法首先从原始数据集里面进行随机重复抽样，注意是重复抽样，得到的样本大小与原数据的大小一样，但样本有可能包含重复值，然后对样本分别训练得到多个分类器，如果是分类问题，各个分类器票数最多的那一类作为集成分类器的最后的分类结果，如果是回归问题，则各个回归模型的预测均值作为集成算法的预测结果。

        以下为bagging数据示例：绿色的为原始数据，蓝色的为五轮抽样的样本数据，对每个样本数据进行训练得到五个分类器，准确率分别为70%、60%、90%、50%、70%。

           将以上五个分类器进行集成则可以得到以下结果：

           因为只是为了说明问题，所以这里采用了比较简单的集成方式，即把五个分类器的分类结果进行求和，最后得到分类器准确率为90%，比单一的五个分类器的准确率高。

（2）boosting

            基本思想：

            1）先赋予每个训练样本相同的概率

             2） 然后进行T次迭代，每次迭代后，对分类错误的样本加大权重，使得在下一次迭代中更加关注这些样本。

        关于boosting和bagging的详细介绍及区别：http://www.cnblogs.com/liuwu265/p/4690486.html

2、data.table包的补充

     data.table 的通用格式 : DT[i, j, by] ，对于数据集 DT ，选取子集行