深度集成：从损失景观视角解读（论文解析）

这篇论文探讨了深度集成模型的原理，并通过实验验证了其有效性。作者认为，深度集成模型中的每个成员由于随机初始化，在优化过程中会收敛到权重空间的不同位置，从而能够捕捉到解空间中的不同模式。

论文将深度集成模型与贝叶斯网络进行了比较。贝叶斯网络理论上也能实现类似的效果，但往往只能描述单个模式，因此泛化能力较差。

作者强调了深度集成模型在提升模型精度、预测不确定性以及对抗样本鲁棒性方面的优势。论文通过清晰的实验设计验证了其观点，并为理解深度神经网络内部工作机制提供了新的视角。

作者认为，这项研究的意义在于它揭示了深度学习模型内部的运作机制，而不是一味追求最先进的模型性能。同时，它也表明即使没有巨额的计算资源，仍然可以进行有价值的研究。作者鼓励读者阅读这篇论文，并分享自己的想法。

最后，作者解释了深度集成模型的概念。它本质上是训练多个不同的深度神经网络，并将它们的结果进行聚合，从而提升模型的性能。

#ai #研究 #优化深度集成在提高深度神经网络泛化能力方面效果惊人。令人惊讶的是，它们的表现优于贝叶斯网络，而贝叶斯网络在理论上是做同样的事情。本文研究了深度集成如何特别适合捕获神经网络的非凸损失景观。大纲：0:00 - 简介和概述2:05 - 深度集成4:15 - 深度网络的解空间7:30 - 贝叶斯模型9:00 - 集成效应10:25 - 实验设置11:30 - 训练期间的解等式19:40 - 跟踪多个轨迹21:20 - 独立解的相似性24:10 - 与基线的比较30:10 - 权重空间横截面35:55 - 多样性与准确性41:00 - 比较集成方法44:55 - 结论和评论论文：https://arxiv.org/abs/1912.02757摘要：深度集成已被实证证明是提高深度学习模型的准确性、不确定性和分布外鲁棒性的有希望的方法。虽然深度集成在理论上是由自举法推动的，但在实践中，仅用随机初始化训练的非自举集成也表现良好，这表明可能存在其他解释为什么深度集成效果良好。贝叶斯神经网络，它学习网络参数上的分布，在理论上由贝叶斯原理很好地推动，但在实践中没有像深度集成那样表现良好，尤其是在数据集偏移的情况下。这种理论与实践之间差距的一种可能的解释是，流行的可扩展变分贝叶斯方法倾向于关注单个模式，而深度集成倾向于探索函数空间中的不同模式。我们通过借鉴最近关于理解神经网络损失景观的工作，并添加我们自己的探索来测量预测空间中函数的相似性，来研究这一假设。我们的结果表明，随机初始化探索完全不同的模式，而沿着优化轨迹或从其子空间中采样的函数在预测方面在单个模式内聚类，而在权重空间中经常显着偏离。发展多样性-准确性平面的概念，我们表明，随机初始化的去相关能力是流行的子空间采样方法无法比拟的。最后，我们评估了集成、基于子空间的方法和基于子空间的方法的集成的相对影响，实验结果验证了我们的假设。