神经网络-梯度下降

1. 优化问题
   1. newton's method 牛顿法
   2. least squares method最小二乘法
   3. gradient descent梯度下降法

当 cost对w的梯度最小（斜率最小）时，误差最小。

我们从图中可以看出, Cost 误差最小的时候正是这条 cost 曲线最低的地方, 不过在蓝点的 W 却不知道这件事情, 他目前所知道的就是梯度线为自己在这个位置指出的一个下降方向, 我们就要朝着这个蓝色梯度的方向下降一点点. 在做一条切线, 发现我还能下降, 那我就朝着梯度的方向继续下降, 这时, 再展示出现在的梯度, 因为梯度线已经躺平了, 我们已经指不出哪边是下降的方向了, 所以这时我们就找到了 W 参数的最理想值. 

有一点点不理解？

转载于:https://www.cnblogs.com/CATHY-MU/p/7799871.html