https://zhuanlan.zhihu.com/p/36503663
这篇讲解非常清晰!我比较好奇的不是为什么梯度方向函数是变化最快的。我想知道为什么梯度方向函数局部上升最快,而负梯度方向函数局部下降最快?找了很多资料,只有这篇比较好的讲清楚了我想知道的问题。
快速梳理:
1.写出一阶泰勒展开式,推导过程主要利用的数学思想就是曲线函数的线性拟合近似。
2.最核心的一步是:微小矢量变化 =
, 表示
要沿着方向v移动,v是我们要寻找的使得函数下降的方向,是个单位向量。
是步长,大于0的标量。
3.将2代入1,移项,推导出:函数值微小变化= * 梯度向量 < 0 ,此时函数值是下降的。
4.当两个向量方向相反(180度)时 * 梯度向量 的向量内积最小,由于是负数,所以内积最小的时侯函数值微小变化的幅度最大,也就是说函数值下降幅度最大(负最大值)!可以求出v就等于负的梯度向量。
5.将v带回2,可以求出下一步的。将梯度的模合并到步长
,就推导得到了梯度下降算法中
的更新表达式。