集成学习-bagging，boosting介绍

 

 

Bootstrapping
Bootstrapping从字面意思翻译是拔靴法，从其内容翻译又叫自助法，是一种再抽样的统计方法。自助法的名称来源于英文短语“to pull oneself up by one’s bootstrap”，表示完成一件不能自然完成的事情。1977年美国Standford大学统计学教授Efron提出了一种新的增广样本的统计方法，就是Bootstrap方法，为解决小子样试验评估问题提供了很好的思路。

算法流程

1. 从N个样本中有放回的随机抽取n个样本。
2. 用n个样本计算统计量
3. 重复1，2步骤m次，得到统计量
4. 计算统计量序列的方差，则可得到统计量方差的无偏估计。（均值也是，bootstrapping方法就是通过多次的随机采样得到可以代表母体样本分布的子样本分布）

Bagging策略(bootstrap aggregating)套袋法

1. 从N个样本中有放回的随机抽取n个样本。
2. 用这n个样本的所有属性构建基分类器（LR,ID3,C4.5,SVM）
3. 重复1,2两步m次，构建m个基分类器
4. 投票得出分类结果，哪个票最多就是哪一类。对回归模型，取多有基分类器结果的均值。总而言之就是所有基分类器的权重相同。

 

https://blog.csdn.net/colourful_sky/article/details/82082854  python实现随机森林