2021李宏毅机器学习笔记--4 五种gradient descent梯度下降算法简介

1 摘要

本文主要介绍了多种梯度下降算法，梯度算法主要是用于帮助找到最好的函式，也就是loss损失最小的函式，以便于我们训练出最好的模型，不同的梯度下降算法有其自己的特点，本文主要介绍五种梯度下降算法。

2 五种梯度下降算法

2.1 SGD

SGD是stochastic gradient descent随机梯度下降的缩写，它的思想是这样的：
1 首先选定一个随机的初始点，
2 然后计算该点的梯度，根据梯度的反方向确定下一步的移动，
3 然后计算下一步的梯度，一直移动，直到移动到某个点的梯度为0时停止移动。
但是这样的话，容易陷入局部最小，找不出最优解。

2.2 SGD with momentum

动量梯度下降算法，在随机梯度下降算法的基础上引入了一阶动量。他的思想是这样的：
1 选定初始点和初始向量movement v0，
2 计算初始点的梯度进行移动，但是移动的方向和大小与梯度和上一步的向量都有关系，根据公式计算出下一步的移动。
3 计算出下一步的梯度以及向量值，重复上述步骤。

这样的话，每一步的移动都与之前的向量有一个累加的效果的影响，这就导致了移动是一个渐变的过程，是动量的过程，