深度学习笔记（十五）—— 模型集成[Model Ensembles]

  这是深度学习笔记第十五篇，完整的笔记目录可以点击这里查看。
  
  在实践中，将神经网络的性能提高几个百分点的一个可靠方法是训练多个独立的模型，并在测试时平均它们的预测。随着集成中模型数量的增加，性能通常会单调地提高（尽管回报率会逐渐减少）。此外，随着集合中模型的变化越大，改进就越显著。组建一个集成模型有几种方法：

1. Same model, different initializations

  利用交叉验证法确定最优超参数，然后训练多个具有最优超参数集但随机初始化不同的模型。这种方法的问题在于，变化仅仅是由于初始化的不同引起的。

2. Top models discovered during cross-validation

  使用交叉验证来确定最佳的超参数，然后选择前几个（例如10个）模型来形成集合。这提高了集合的多样性，但也有包含次优模型的危险。在实践中，这可能更容易执行，因为它不需要在交叉验证后对模型进行额外的再训练。

3. Different checkpoints of a single model

  如果训练的代价非常昂贵，那么有些人在一段时间内（例如在每个epoch之后）对单个网络的不同检查点进行检查并使用这些检查点来形成一个集合的效果是有限的。显然，这种方法缺乏多样性，但在实践中仍然可以很好地工作。这种方法的优点是代价非常低。

4. Running average of parameters during training

  与最后一点相关，一种几乎总是获得额外性能的廉价方法是，在内存中保持网络权重的第二个副本，该副本在训练期间保持先前权重的指数衰减总和。这样，就可以平均网络在过去几次迭代中的状态。在最后几个步骤中，这种“平滑”的权重版本几乎总能获得更好的validation error。粗略的直觉是，目标是碗状的，网络在mode周围跳跃，所以平均值有更高的机会接近mode。
  模型集成的一个缺点是，它们需要较长的时间来评估test样本。
 
 
 
*本博客翻译总结自CS231n课程作业网站，该网站需要翻墙才能访问。