集成学习(Ensemble learning)

#集成学习
集成学习主要思想：找到一些分类器，这些分类器与批彼此不同，然后再将其集合在一起。
Bagging
Bagging即套袋法，其算法过程如下：
A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）
B）每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）
C）对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）

model变复杂时，error会先降后升，这是因为简单的model（underfitting）有小的variance、大的bias, 而复杂的model（overfitting）有大的variance、小的bias。如果模型很复杂，可以训练出多个复杂的模型，取平均，以减小variance，提高泛化能力。
实际上，这便是bagging。在模型比较复杂（variance大、bias小）、比较容易overfitting时才用Bagging。其实NN不是很容易overfitting，而是卡在训练集上得不到好的结果，而像decision tree就很容易在训练集上很低(0%)的错误率、容易overfitting。
对decision tree做bagging就是random forest


随机森林的做法：若是对训练数据重采样，那么得到的各棵树太像了。所以在每次分裂节点时随机限制哪些feature可用哪些feature不可用，避免各棵树长得太像。
Out-of-bag方法：假设现在有训练数据x1, x2, x3, x4，每次采样出部分数据训练function，如用x1, x2训练f1，用x3, x4训练f2，用x1, x3训练f3，用x2, x4训练f4。这样，x1没有被用于训练f2, f4，所以可用f2, f4组成随机森林来测试x1, 其余x2, x3, x4同理。
Out-of-bag (OOB) error是对测试集上错误率的一个很好的估计。
之前要切出验证集才知道在测试集上的错误率，而用OOB就不用验证集了，因为部分训练数据没有被包含在训练中，它们可以拿来当做验证集。


Bagging并不是为了提升在训练集上的performance。在初音这个任务上并没有什么训练、测试，目标是看有多能拟合初音函数，与你的函数的泛化特性无关。所以现在加上随机森林并不能更加拟合初音函数，原来深度为5的单棵决策树不能拟合初音函数，那么加上随机森林还是不能拟合初音函数。但是Bagging可以让variance比较小，得到的function比较平滑。
Boosting
其主要思想是将弱分类器组装成一个强分类器。在PAC（概率近似正确）学习框架下，则一定可以将弱分类器组装成一个强分类器。
通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样例的权值，来使得分类器对误分的数据有较好的效果。
通过加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。
而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。
如果分类器在训练数据上有大于50%的正确率，那么在Boosting之后会得到100%的正确率。
在不同训练数据上训练就会得到不同的分类器，不同的训练数据一般通过re-weighting training data得到，实际上修改了目标函数。
Adaboost的做法就是，训练好f1后，调整training set的weight，让f1在新的training set上错误率达到50%, 再用新的training set训练f2……
调整training set的weight 的方法是，对f1正确分类的example, 其weight除以一个大于1的值；对f1错误分类的example, 其weight乘以相同的值，这个值可以计算出来。






在aggregate classifiers时，用uniform weight的方式比较不好，因为不同的分类器有强弱之别。

下面证明随着TT 的增大，H(x)H(x) 会在训练数据上取得越来越小的错误率。
首先给出训练错误率的upper-bound，然后证明这个upper-bound恰好等于1/N*ZT+1，之后往证T↑,ZT+1↓T↑,ZT+1↓





Gradient Boosting



stacked
stacked 产生方法是一种截然不同的组合多个模型的方法，它讲的是组合学习器的概念，但是使用的相对于bagging和boosting较少，它不像bagging和boosting，而是组合不同的模型，具体的过程如下：
1.划分训练数据集为两个不相交的集合。
2. 在第一个集合上训练多个学习器。
3. 在第二个集合上测试这几个学习器
4. 把第三步得到的预测结果作为输入，把正确的回应作为输出，训练一个高层学习器，
总结
1）Bagging + 决策树 = 随机森林
2）AdaBoost + 决策树 = 提升树
3）Gradient Boosting + 决策树 = GBDT
Bagging和Boosting的区别：
1）样本选择上：
Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。
Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。
2）样例权重：
Bagging：使用均匀取样，每个样例的权重相等
Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。
3）预测函数：
Bagging：所有预测函数的权重相等。
Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。
4）并行计算：
Bagging：各个预测函数可以并行生成
Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。