qq_49382854的博客

原创 深度学习常见典型问题及相关答案

梯度下降法的变体和发展是为了解决原始梯度下降方法的一些问题，并提高训练神经网络等复杂模型的效率和性能。以下是一些常见的梯度下降法的变体和发展3.1 随机梯度下降（SGD）基本思想：SGD每次只使用训练集中的一个样本来估计梯度，而不是使用整个训练集。这导致参数更新具有更大的随机性，但也使训练更快。特点：SGD通常收敛速度更快，但参数更新具有噪声性质。因此，SGD可能会在训练过程中震荡，但最终会收敛到一个局部极小值。3.2小批量随机梯度下降（Mini-batch SGD）基本思想。