[李宏毅 机器学习笔记] Gradient Descent

前言

  学习李宏毅老师的课程，所作的笔记，文中使用的PPT均来自李宏毅老师讲演PPT。

---

1 Gradient Descent

  我们为了在一个模型中寻找一个最好的函数，通过使用Loss函数达到这一目的。通过对Loss函数的描述，我们想要知道达到Loss最小对应的参数。

  通过使用梯度下降的方式计算达到最小值的方式。这里以二维的参数作为例子，说明了▽L(θ)的由来；这里还有学习率（Learning Rate）ŋ，所以每一次的该变量是：-ŋ▽L(θ)（迭代的步长）；

  寻找最小值的过程：

  合理的设置Learning rate 十分重要，通常可视化的是参数的迭代和Loss的函数。