Ensemble learning 集成学习（一）

一.Ensemble learning（集成学习）
集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统等。要获得好的集成，个体学习器应"好而不同",意味着个体学习器要有一定的准确性，即学习器不能太坏。并且还要有多样性，即学习器间具有差异。但是，一般准确性很高之后，要增加多样性就需要牺牲准确性。
根据个体学习器的生成方式，目前的集成学习方法大致可分为两类，即个体学习器间存在强依赖关系，必须串行生成的序列化方法；以及个体学习器间不存在强依赖关系，可同时生成的并行化方法。前者的代表是Boosting，后者的代表是Bagging和Random Forest（随机森林）。

二.关于Bootstrap（自助法）
Bootstrapping：comes from“pull up by your own bootstraps”，它直接以Bootstrap Sampling（自助采样法）为基础[Efron and Tibshirani,1993]，称为自助法。它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。给定包含m个样本的数据集D，我们对它进行采样产生数据集D’:
（1） 每次随机从D中挑选一个样本，将其拷贝放入D’中；
（2） 再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到；
（3） 以上过程重复执行m次（一般大于1000），得到了包含m个样本的数据集D’。
显然，D中有