集成学习基础

集成学习方法

• Bagging，其思想是在随机不同版本的训练数据上训练许多基础模型。每个模型拥有一票表决权，并且无论预测准确度如何，都做相同的处理，然后对预测变量进行汇总以得出最终结果。在大多数情况下，Bagging后结果的方差会变小。例如，随机森林是Bagging方法中最著名的模型，它将决策树与Bagging理念结合在一起。

• Boosting，Boosting和Bagging之间最本质的区别在于，boosting并不会同等的对待基础模型，而是通过连续的测试和筛选来选择“精英”。表现良好的模型对投票的权重更大，而表现较差的模型的权重更小，然后将所有的投票组合得到最终结果。在大多数情况下，boosting后结果的偏差会变小。例如，Adaboost和Gradient boost是boosting方法中最常用的模型。

• Stacking，对基础模型的结果进行平均或投票相对简单，但是学习误差可能很大，因此创建了Stacking。Stacking策略不是对模型的结果进行简单的逻辑处理，而是在模型外增加一层。因此，我们总共有两层模型，即通过预测训练集建立第一层模型，然后将训练集预测模型的结果作为输入，再对第二层新模型进行训练，得到最终结果。基本上，Stacking可以减少方差或bagging/boosting的偏差。

结合策略

• 平均法（简单平均、加权平均）
• 投票法（绝对多数投票法、相对多数投票法、加权投票法）
• 学习法
  当训练数据很多时，一种更为强大的结合策略是使用 学习法，即通过另一个学习器来进行结合。

深度学习中的集成学习

• Dropout
• TTA，测试集数据扩增（Test Time Augmentation）对同一个样本预测三次，然后对三次结果进行平均。
• Cyclical Learning Rate，周期性学习率技术以可操作性地消除往常需要实验般地去手动寻找最佳的最佳学习率和全局的学习率的schedule调整方案，CLR通过调整学习率在上边界和下边界中变化，而不是单调地减少学习率来达到网络的最佳拟合状态。