模型集成方法

集成学习是机器学习中的一类学习算法，指训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中能取得比单个学习器更好的预测结果，颇有“众人拾柴火焰高”之意。尽管深度网络模型已经拥有强大的预测能力，但集成学习的使用仍能起到“锦上添花”的作用。因此有必要了解并掌握一些深度模型方面的集成方法。一般来讲，深度模型的集成多从“数据层面”和“模型层面”两方面着手。

数据层面的集成方法

测试阶段数据补充

我们在之前的文章有提到“数据扩充”策略，实际上，这些扩充策略在模型测试阶段同样适用，诸如图像多尺度、随机抠取等。以随机抠取为例，对某张测试图像可得到n张随机抠取图像，测试阶段只需要用训练好的深度网络模型对n张图像分别做预测，之后将预测的各类置信度平均作为该测试图像最终预测结果即可。

“简易集成”法

“简易集成”法对于样本较多的类采取降采样，每次采样数依照样本数目最少的类别而定，这样每类取到的样本数可保持均等。采样结束后，针对每次采样得到的子数据集训练模型，如此采样、训练反复进行多次。最后对测试数据的预测则依据训练得到若干个模型的结果取平均或投票获得。总结来说，“简易集成”法在模型集成的同时，还能缓解数据不平衡带来的问题，可谓一举两得。

模型层面的集成方法

单模型集成

多特征融合

多层特征融合是针对单模型的一种模型才能买呢集成方法。由于深度卷积神经网络特征具有层次性的特点，不同层特征富含的语义信息可以相互补充，在图像语义分割、细粒度图像检索、基于视频的表象性格分析等任务中常见多层特征融合策略的使用。一般地，多层特征融合操作可直接将不同层网络特征级联。而对于特征融合应选取哪些网络层，一个实践经验是：最好使用靠近目标函数的几层卷积特征，因为愈深层特征包含的高层语义性更强、分辨能力也愈强；相反，网络较浅层的特征较为普适，用于特征融合很可能起不到作用，有时甚至会起到反作用。

网络“快照”集成法

多模型集成

前面提到了基于单个网络如何进行模型集成，这里向大家介绍如何产生多个不同网络训练结果并讲解一些多模型的集成方法。

多模型生成策略

同一模型不同初始化：首先对同一模型进行不同的初始化，之后将得到的网络模型进行结果集成会大幅度缓解其随机性，提升最终任务的预测结果。
同一模型不同训练轮数：若网络超参数设置得当，深度模型随着网络训练的进行会逐步趋于收敛，但不同训练轮数的结果仍有不同，无法确定到底哪一轮训练得到的模型最适用于测试数据。针对上述问题，一种简单的解决方式是将最后几轮训练模型结果做集成，这样一方面可降低随机误差，另一方面也避免了训练轮数过多带来的过拟合风险。这样的操作被称为“轮数集成”。
不同目标函数：目标函数(或称损失函数)是整个网络训练的“指挥棒”，选择不同目标函数势必使网络学到不同的特征表示。以分类任务为例，可将“交叉熵损失函数”、“合页熵损失函数”、“大间隔交叉损失函数”和“中心损失函数”作为目标函数分别训练模型。在预测阶段，既可以直接对不同模型预测结果做“置信度级别”的平均或投票，也可以做“特征级”的模型集成，将不同网络得到的深度特征抽出后级联作为最终特征，之后离线训练浅层分类器(如支持向量机)完成预测任务。
不同网络结构：不同网络结构也是一种有效的产生不同网络模型结果的方式。操作时可在如VGG网络、深度残差网络等不同网络架构上训练模型，最后将不同架构网络得到的结果做以集成。

多模型集成方法

直接平均法：

加权平均法：

投票法：

堆叠法：

小结

1.深度网络的模型集成往往是提升网络最终预测能力的一剂“强心针”；
2.数据层面常用的方法是数据扩充和“简易集成”法 ，均操作简单但效果显著；
3.模型层面的模型集成方法可分为“单模型集成”和“多模型集成”。基于单一模型的集成方法可借助单个模型的多层特征融合和网络“快照”法进行。多模型集成方面，可通过不同参数初始化、不同训练轮数和不同目标函数的设定产生多个网络模型训练结果。最后使用平均法、投票法和堆叠法进行结果集成。
注：文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著