文章目录 前言 1 Gradient Descent 总结 前言 学习李宏毅老师的课程,所作的笔记,文中使用的PPT均来自李宏毅老师讲演PPT。 1 Gradient Descent 我们为了在一个模型中寻找一个最好的函数,通过使用Loss函数达到这一目的。通过对Loss函数的描述,我们想要知道达到Loss最小对应的参数。 通过使用梯度下降的方式计算达到最小值的方式。这里以二维的参数作为例子,说明了▽L(θ)的由来;这里还有学习率(Learning Rate)ŋ,所以每一次的该变量是:-ŋ▽L(θ)(迭代的步长); 寻找最小值的过程: