梯度下降算法

问题引入：

1. 梯度下降是干什么的？

梯度下降的目的就是求函数的极小值点，例如在最小化损失函数或是线性回归学习中都要用到梯度 下降算法。

2. 我们为什么用它？

损失函数用来衡量机器学习模型的精确度。一般来说，损失函数的值越小，模型的精确度就越高。 如果要提高机器学习模型的精确度，就需要尽可能降低损失函数的值。而降低损失函数的值，我们 一般采用梯度下降这个方法。所以，梯度下降的目的，就是为了最小化损失函数。

损失函数 ：衡量模型模型预测的好坏，用来表现预测与实际数据的差距程度。

---

情景引入：

梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景：一个人被困在山上，需要从山上下来(找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低；因此，下山的路径就无法确定，必须利用自己周围的信息一步一步地找到下山的路。这个时候，便可利用梯度下降算法来帮助自己下山。怎么做呢，首先以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着下降方向走一步，然后又继续以当前位置为基准，再找最陡峭的地方，再走直到最后到达最低处。

---

学习内容：

梯度下降 梯度下降的基本过程就和下山的场景很类似。 首先，我们有一个可导的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向。所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。那么为什么梯度的方向就是最陡峭的方向呢？首先梯度是什么？

梯度 一阶函数里梯度就是表示某一函数在该点处的方向导数沿着该方向取得较大值，即函数在当前位置的导数。

如果函数为一元函数，梯度就是该函数的导数。

如果为二元函数，梯度定义为

而多元函数中，如上图我们可以看到，梯度就是分别对每个变量进行偏导，然后用逗号分割开，梯度是 用<>包括起来，说明梯度其实一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。

核心公式

f(θ)是θ的一个函数，η是步长，从θ0点到θ点，也就是f(θ)的最小值。

η 在梯度下降算法中被称作为学习率或者步长，而步长大小的选择非常重要，既不能太大也不能太小。

负梯度 为了使函数下降最快，我们需要让函数朝着负梯度方向下，我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向, 而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号。

梯度下降的一般步骤

---

代码实现（Python）：

---