3.梯度下降算法

目录

1  梯度下降算法的输出是什么

2  梯度下降算法输出结果表明了什么

3  例子

---

梯度下降算法是找到损失函数函数极值点的算法，目的是将损失函数最小化，我们的机器进行"学习"的目的就是改进模型参数(例如上一章提到的y = ax + b 改进a和b)以便将损失最小化

我们现在回顾一个概念-偏导数

• 偏导数

我们之前学过导数，导数的意思是是对含有一个自变量的函数进行求导。偏导数是是对含有两个自变量的函数中的一个自变量求导。

比如说，我们现在有一条线 y = 2x + 1,我们现在对这个线求导数，通过公式我们可以知道，此线的导数为2，我们现在对 y = 2x + a + 1求x的偏导数，那么我们得到的结果就应该是

下面这个表示a对x的导数

1  梯度下降算法的输出是什么

梯度的输出是一个由若干偏导数构成的向量

• 公式中右上角的T意思是转置，转置的算法和矩阵相同，向量与矩阵的区别之一是:向量是一维的，矩阵是二维的

我们称一个向量中的元素叫做向量中的分量，红色框框出来的就是一个分量

梯度下降算法输出结果(上图的倒三角)的每个分量(红框框出的内容)是损失函数对输入向量(输入也可能是一个向量)的相应分量的偏导，上面这个图中，我们的输入向量就为(w1,w2,...,wN）

2  梯度下降算法输出结果表明了什么

梯度下降算法输出结果表明了每个位置(输入点x)损失函数增长(变化)最快的方向

• 输出的结果是向量，向量有两个东西构成，方向和值，无论在最终结果如何我们都视作其是增长的只是增长的方向不同

3  例子

我们以上节课的例子举例 y = ax + b

我们现在有一个坐标轴z，它现在是损失函数的输出

• f(x)为预测值，y为实际值，n为样本数量

我们的模型是y = ax + b ，很明显实际值是固定的，样本数量是固定的，fx根据a与b的变化而变化，那影响我们z轴的两个值分别的a和b

每一轮epoch都会使我们都会得到一组a，b值，那我们最终就可以得到这样一条曲线

假设我们获得的曲线是这样的

• 这个并不是普通视觉上的二维曲线，这条曲线是会偏向或远离b方向的

我们现在找这个曲线的极值点，如果我们有上帝视角我们从这个曲线不难看出这些极值点

• 极值点：斜率正负改变的点

每一个极值点我们都可以得到一组a,b的值

我们当然是没有上帝视角的，在训练中不会得知曲线的全貌，我们在深度学习中使用的方法叫随机初始化

• 在tensorflow.keras已经将初始化封装好了，所以不需要我们去写代码进行初始化

• 随机初始化

以咱们上面这个函数为例，它会随机出很多组a与b，然后再计算出此组ab值生成的结果z的梯度

• 梯度：z轴上的值变化最快的方向，我们可以放到导数中理解一下，如果导数的绝对值越大，它变化的速度也就越快，计算方式为该点Z值对输入向量的微分，实际上就是导数

回到我们如何找极值点的问题来，我们比如现在初始化了点A

此时它会找到此时Z变化最快的方向，我们假设是这个方向

我们的目的是让z值变到最小，很明显这个曲线往这个方向走Z的值是变大的，那么此时我们就会反向寻找极值点

反向走着走着发现变化的速率越来越慢，此时就代表这梯度越来越小，这个就梯度下降的来历，当我们的梯度达到0的时候，梯度为0的点就是我们的极值点

上面这个例子没体现出为什么要找最快的点，那么我们换一个初始的位置

现在我们初始到了B点，此时它的两个方向都可以使z变小

那么这个时候梯度下降算法会选择下降最快的那条路线，找到那条路线上的极值点

那么现在又遇到一个问题，就算是一点儿一点儿向前蹭，那么进行一次改变也应该有一个值，这个值的名字叫做学习速度

• 在上一章我们在编译时并没有给学习速率的参数，这是因为我们使用的optimizer的adam中又默认的学习速率，默认学习速率为0.001

比如下面这个图，我一次从B -> C的学习速度是要比B -> d 的学习速度慢的

学习速率如果过小，迭代的次数就越多，也就是进行一个epoch的时间会变长，如果太大的话优点是速度会变快，但是有可能会因为步子太大而跳过我们想要的极值点，比如说从B -> E

还有一种情况它会一次就跳到F，那么此时它发现Z是处于上升趋势，那它就会往回走，又返回B点，如果将学习速率写死它将永远找不到中间的正确极值点

算法的最后一步，我们现在通过随机初始化找到了若干个极值点，此时我们从若干个极值点中找到对应Z最小的极值点返回