[深度学习] 模型集成方法

模型集成方法

集成学习（ensemble learning）是机器学习中一类学习算法，值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。

数据层面的集成方法

在训练阶段的数据扩充在测试阶段仍然使用。 诸如图像多尺度， 随机扣取等。以随机扣取为例， 对某张测试图片可得到n 张随机扣取图像，测试阶段只需要用训练好的深度网络模型对n张图分别做预测， 之后将预测的各类置信度平均作为该测试图像最终预测结果即可。

简易集成法

简易集成法是Liu 等人提出的针对不平衡样本问题的一种集成学习解决方案， 具体来说，简易集成法对于样本较多的类采取降采样，每次采样数根据样本数目最少的类别而定，这样，每类取到的样本数可保持均等。 采样结束后， 针对每次采样得到的子数据集训练模型， 如此采样， 训练，反复多次。最后， 对测试数据的预测则根据训练得到若干模型的结果取平均值或投票得出。 总结， 简易集成法在模型集成的同时，还能缓解数据不平衡带来的问题。

模型层面的集成方法

单模型集成

多层特征融合

多层特征融合是针对单模型的一种模型层面的集成方法。 由于深度卷积神经网络特征具有层次性的特点， 不同层特征富含的语义信息可以相互补充， 在图像语义分割， 细粒度图像检索，基于视频的表象性格分析等任务中常见的多层特征融合策略的使用。一般的，多层特征融合操作时可将不同层网络特征级联。而对于特征融合应选取哪些网络层，一个实践经验是：最好使用靠近目标函数的几层卷积特征。因为越深层特征包含的高层语义越强，分辨力也会越强。相反， 网络较浅层的特征较普使， 用于特征融合可能起不到作用，或者甚至会起到相反作用。

网络快照集成法 (snapshot ensemble)

深度神经网络模型复杂的解空间存在非常多的局部最优解， 但经典的随机梯度下降方法只能让网络模型收敛到其中一个局部最优解。 网络快照便利用了网络解空间中这些局部最优解来对单个网络做模型集成。 通过循环调整网络的学习率可使网络依次收敛到不同的局部最优解。

最左侧图为传统SGD法， 中间为快照集成法的收敛示意图。 右图为两方法在CIFAR-10数据集上的收敛曲线对比。

具体而言， 网络快照法是将学习率$\eta$设置为随模型迭代轮数$t$（iteration，即一次批处理随机梯度下降称为一个迭代轮数）改变的函数，即：

η(t)=η02(cos(πmod(t−1,[T/M])