集成学习(Ensemble Learning)

1、集成学习主要采用“三个臭皮匠抵过一个诸葛亮”的思想，集成了多个较为弱小的学习器，以使得实验获得好的效果

产生历史：结合多个分类器比一个分类器的方法还要好

2、构造集成器的方法

可以采用majority voting来进行classification或者使用weighted average来进行regression

为了要得到一个好的分类器，base learners必须要尽可能的准确，尽可能的多样化。已经有很多人来研究

学习器的准确率，但是很少人能用一个准确的方式来定义diversity。定义多样化方式的衡量方法可以有很多中，

如何从训练样本中进行抽样，控制属性，控制输出，将随机性引入学习方法。不同base learners的结合

或者采用技术导致了各种集成方法。

3、代表性的方法有三种：Boosting Bagging Stacking

Boosting 

首先，为所有的数据分配相等的权重，

然后，使用训练数据来测试算法ht,并且增加那些不正确分类的数据的权重。

每个学习算法的权重也在学习过程中被确定。可以用T种的学习器，每个学习器都会有一个分类结果，

如果发现分类结果不准确，那么那个训练数据例子的权重也会增加，同时，也会计算学习器t的权重。

最后再对每个学习器的权重和学习器判别结果进行乘积，得到判别结果。

Bagging

1、选择some bootstrap sample，每个学习器选择的例子可能都不同。原例子出现的概率至少为0.632，可能用其他的label

来代替原训练数据的label。

2、对选择出来的sample进行训练。

最后output的时候采用了majority voting的方法。选择使得所有分类learner的大部分都分类的结果。

Stacking:

先用所有的学习算法构造所有学习器

构建一个新的数据空集，每次都把学习器判别的结果加入数据集，那么数据集合就会变得比以前还要大。

然后对新的数据集进行分类，学习。

选择所有的学习器并不一定比全部都选择的好，many could be more better than all.

集成学习不仅可以用来做分类和回归，还可以用来聚类，或者其他的机器学习任务。

为什么选择一个学习器不一定比所有的学习器都要好呢？

1、训练数据可能不能提供足够的信息来选择准确的学习器，很多学习器的效果都是相当的。尝试着结合所有的

学习器可能是个better choice

2、每个学习器可能会达到一个次优的结果，所有的搜索结果都不是那么完美的。

3、搜索结果可能不包含最好的那个函数。

应用：文本分类、医药检测

总结：

1、目前没有比较好的多样性度量

2、集成学习器的方法还没有很好的为用户所了解。