it信息技术草稿

信息技术介绍

 

信息技术行业组成 相关职位

 

 深度学习中的泛化之谜如下：为什么使用梯度下降 (GD) 训练的过度参数化神经网络在真实数据集上泛化得很好，即使它们能够拟合大小相当的随机数据集？此外，在所有适合训练数据的解决方案中，GD 如何找到一个泛化良好的解决方案（当存在这样一个泛化良好的解决方案时）？我们认为这两个问题的答案在于训练期间不同示例的梯度的相互作用。直观地说，如果每个示例的梯度是良好对齐的，也就是说，如果它们是连贯的，那么人们可能会期望 GD 是（算法上）稳定的，因此可以很好地泛化。我们用一个易于计算和可解释的一致性度量来形式化这个论点，并表明该指标在几个常见视觉网络的真实和随机数据集上具有非常不同的值。该理论还解释了深度学习中的许多其他现象，例如为什么某些示例比其他示例更早可靠地学习，为什么提前停止有效，以及为什么可以从嘈杂的标签中学习。此外，由于该理论提供了一个因果解释，解释了当存在一个时 GD 如何找到一个泛化良好的解决方案，它激发了对 GD 的一类简单修改，以削弱记忆并提高泛化能力。深度学习中的泛化是一个极其广泛的现象，因此，它需要一个同样普遍的解释。