吴恩达2022机器学习专项课程C1W1：1.17 梯度下降的直观理解

问题预览/关键词

1. 本节内容是？
2. J对w求导的含义是？
3. 如何确定切线的方向？
4. w在函数J递增处的切线方向是？
5. 导数项为正数，w和函数J的关系是？
6. w在函数J递减处的切线方向是？
7. 导数项为负数，w和函数J的关系是？

笔记

1.本节内容

导数项在做什么？为什么学习率和导数项相乘，会导致w更新？

2.J对w求导

导数项表示函数J在参数w处做一条切线，计算切线的斜率。

• 具体求导公式：课节4.5会详细说明。

3.切线方向

函数J对w某一点的切线方向，与这个点附近函数J的趋势方向一致。

4.w在函数J递增处的切线方向

切线的方向是右上方，切线的斜率为正，代表导数项为正数。

5.导数项为正数

学习率总是正数，导数为正数时，学习率和导数的乘积为正数，因此w不断减去一个正数，w变小也就是向左移动，对应的成本函数J值趋近最小。

6.w在函数J递减处的切线方向

w在函数J递减处的切线：切线的方向是右下方，切线的斜率为负，代表导数项为负数。

7.导数项为负数

学习率总是正数，导数为负数时，学习率和导数的乘积为负数，因此w不断减去一个负数，w变大也就是向右移动，对应的成本函数J值趋近最小。

总结

本节课没有详细说明导数项是如何计算的，主要强调的是为什么导数项可以通过更新w的方式，来最小化成本函数。观察w和J(w)的二维图，导数项实际是函数J对w切线的斜率。切线的方向是根据w对应的函数J趋势的方向绘制的。学习率总是一个正数，如果切线是右上方，代表斜率为正，导数项为正数，导数项和学习率乘积为正，因此更新w会让w不断减小，对应的成本函数值也会趋近最小化。如果切线是右下方，代表斜率为负，导数项为负数，导数项和学习率乘积为负，因此更新w会让w不断增加，也会最小化成本函数。