最近在学习梯度下降的知识，可是怎么也跳不出对公式的理解。
这是怎么回事呢？
我们先来看看这个公式：
ω
:
=
ω
−
α
∂
j
(
ω
,
b
)
∂
ω
\omega:=\omega-α\frac{\partial j(\omega,b)}{\partial \omega}
ω:=ω−α∂ω∂j(ω,b)
从公式上直观理解，就是对
ω
\omega
ω一直更新，
∂
j
(
ω
,
b
)
∂
ω
\frac{\partial j(\omega,b)}{\partial \omega}
∂ω∂j(ω,b)是对
ω
\omega
ω的偏导，是每次
ω
\omega
ω走的长度，α是学习率，用来控制步长。
这就是梯度下降的公式，为什么这么减，很多很多的教程都告诉我们，因为梯度是变化率最大的方向，朝这个方向走，那么就能更快的到达最小值，这里我们就不过多讨论为什么了。
然后他们举三维的山脉例子，这种例子是可以理解的。
但是当你尝试用公式结合二维例子去理解，就会十分难受，不知道是否有人也是这样的疑惑看到我这篇博客，希望我的理解能够帮到你。
看到这个例子，你是否有以下疑惑：
首先公式会变成 ω : = ω − α d j ( ω ) d ω \omega:=\omega-α\frac{d j(\omega)}{d \omega} ω:=ω−αdωdj(ω)
- 在二维坐标系里，对 ω \omega ω求导，梯度方向是切线方向，梯度大小是斜率大小。(实际上这种情况已经不能称为梯度了！)
- 那么梯度下降的话应该沿着切线方向
- 可是你细看这图，这橙色的线根本就不是切线方向，你也不要说这是放大效果，细想什么是切线，怎么样都和函数是只有一个交点的。
问题就出在这：从梯度的概念来看，梯度方向就是切线的方向，这样这不就和图冲突了吗？
如果是这样想，那么恭喜你入坑了！
首先，你需要理解一个概念，那么就是斜率是没有方向的，是一个标量，而梯度它的确是一个向量，有方向，我们所画的切线，会有人告诉你从上往下画和从下往上画是不一样的吗？？？
是吧，斜率是标量，但它有正负，这个符号只是代表正负，这个正负怎么来的，如上图所示，它与x轴正方向呈钝角，因此是负的。
当你理解好斜率是标量之后，我们再接着看。
因此，在二维下，怎么理解梯度下降？
Google的例子就很好，
发现没有，Google的例子和其他人不一样的是，他的箭头是与x水平的。
因此，我们怎么理解呢？
梯度是变化率最大的方向，这从三维的图像来说，你从一点做切线，它的确有不止一个交点，从这方向走到最近的一个交点，就完成了一次的梯度下降。
对于二维坐标来说，切线的交点只有一个，梯度的大小是斜率，但方向不是切线的方向了，我们移动的方向只有x轴正，x轴负，因此移动的方向就是水平的。我们做了切线，只是告诉我们，切线与移动的方向总是呈钝角，这样的角能够让我们找到最小值。带着这个想法再去理解二维下的梯度下降公式，你是不是觉得舒服许多了呢？
520
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
