目录
1bagging的原理
1.1bagging的核心要义
Bagging的核心在于自助采样(bootstrap)这一概念,即有放回的从数据集中进行采样。
一个自助采样的小例子:希望估计全国所有人口年龄的平均值,那么可以在全国所有人口中随机抽取不同的集合(这些集合可能存在交集),计算每个集合的平均值,然后将所有平均值的均值作为估计值。
1.2bagging的基本流程
(1)随机取出一个样本放入采样集合中
(2)再把这个样本放回初始数据集,重复K次采样
(3)最终我们可以获得一个大小为K的样本集合。
(4)同样的方法, 我们可以采样出T个含K个样本的采样集合,然后基于每个采样集合训练出一个基学习器,再将这些基学习器进行结合,这就是Bagging的基本流程。
1.3bagging的适用情况
(1)是一种降低方差的技术,在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。
(2)在实际的使用中,加入列采样的Bagging技术对高维小样本往往有神奇的效果。