法国巴黎银行 Cardif Cardif Cardif索赔管理
本案例大纲
1、集成算法bagging与boosting
2、data.table包的补充讲解
3、xgboost算法案例应用
1、集成算法bagging与boosting
(1)bagging算法:
bagging算法首先从原始数据集里面进行随机重复抽样,注意是重复抽样,得到的样本大小与原数据的大小一样,但样本有可能包含重复值,然后对样本分别训练得到多个分类器,如果是分类问题,各个分类器票数最多的那一类作为集成分类器的最后的分类结果,如果是回归问题,则各个回归模型的预测均值作为集成算法的预测结果。
以下为bagging数据示例:绿色的为原始数据,蓝色的为五轮抽样的样本数据,对每个样本数据进行训练得到五个分类器,准确率分别为70%、60%、90%、50%、70%。
将以上五个分类器进行集成则可以得到以下结果:
因为只是为了说明问题,所以这里采用了比较简单的集成方式,即把五个分类器的分类结果进行求和,最后得到分类器准确率为90%,比单一的五个分类器的准确率高。
(2)boosting
基本思想:
1)先赋予每个训练样本相同的概率
2) 然后进行T次迭代,每次迭代后,对分类错误的样本加大权重,使得在下一次迭代中更加关注这些样本。
关于boosting和bagging的详细介绍及区别:http://www.cnblogs.com/liuwu265/p/4690486.html
2、data.table包的补充
data.table 的通用格式 : DT[i, j, by] ,对于数据集 DT ,选取子集行