徐先森的博客

原创 优化算法（从梯度下降到Adam算法）

1.优化与深度学习2.梯度下降和随机梯度下降3.动量法在梯度下降和随机梯度下降算法中我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降算法也叫作最陡下降。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。3.1 梯度下降算法的问题[图片1]可以看到...