梯度下降专栏——局部下降最快的方向就是梯度的负方向
我们在李宏毅老师的课中可以看到求解loss function的最小值时,使用的是梯度下降。那现在的问题是,为什么李老师用负梯度方向作为搜索方向,李宏毅老师已经在课中讲到,这里我将对其进行一丢丢的补充接下来将从上述问题来进行讲解1、泰勒展开泰勒展开是一个用函数在某点的信息描述取值的公式,在已知函数在某一点的各阶导数值的情况下,泰勒展开可以用这些导数值系数构建一个多项式来近似函数子啊这一点的领...
原创
2019-07-29 00:09:38 ·
624 阅读 ·
0 评论