对梯度下降算法的简要理解

1.概念

梯度下降是干什么的？

它的主要目的就是通过迭代找到目标函数的最小值。

2.梯度下降算法的基本思想

2.1场景假设

我们从一个下山的场景先来理解一下梯度下降算法的基本思想：

假设这样一个场景：一个人被困在山上，需要从山上下来(找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。

具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

2.2梯度下降算法的理解

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！

因为梯度的方向就是函数变化最快的方向，所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。

 

小知识：那么为什么梯度的方向就是最陡峭的方向呢？

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

接下来，我们从微分开始讲起：

2.2.1微分

1.微分是什么，如何理解？

可以有不同的角度，最常用的两种是：

• 函数图像中，某点的切线的斜率

• 函数的变化率

2.微分的例子

# 单变量的微分：