2021李宏毅机器学习笔记--4 五种gradient descent梯度下降算法简介

1 摘要

本文主要介绍了多种梯度下降算法，梯度算法主要是用于帮助找到最好的函式，也就是loss损失最小的函式，以便于我们训练出最好的模型，不同的梯度下降算法有其自己的特点，本文主要介绍五种梯度下降算法。

2 五种梯度下降算法

2.1 SGD

SGD是stochastic gradient descent随机梯度下降的缩写，它的思想是这样的：
1 首先选定一个随机的初始点，
2 然后计算该点的梯度，根据梯度的反方向确定下一步的移动