随机加权平均使得深度学习获得最优的办法

这两篇论文提供了一种简单的方式，通过使用一种巧妙的集成方法提升神经网络的性能。

1. Garipov 等人提出的 “Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs” 
   https://arxiv.org/abs/1802.10026

2. Izmailov 等人提出的 “Averaging Weights Leads to Wider Optima and Better Generalization” 
   https://arxiv.org/abs/1803.05407

若希望更容易理解这篇博客，可以先阅读这一篇论文：

• Vitaly Bushaev 提出的 “Improving the way we work with learning rate” 
  https://techburst.io/improving-the-way-we-work-with-learning-rate-5e99554f163b

传统的神经网络集成方法

传统的集成方法通常是结合几种不同的模型，并使他们对相同的输入进行预