梯度上升法和梯度下降法中的梯度是什么

在一元一次函数中，函数的斜率可以代表函数在y方向上的变化率，如下图，函数的斜率为0.5，当 变化1，那么变化0.5.

换一种方式来想，当前这条线和x轴的夹角为β，斜率其实是，其实可以理解为当  发生变化时变化的方向  便是 乘以一个角度 β 的 tan 值。

另外，斜率其实就是我们对函数  中的 求导。

  

基于以上，我们假设系数向量 ，最终激活函数的输入 ，我们要采取最优化方法来对系数进行确定。每次变化系数，都要选择系数变化最快的方向。

函数 的梯度为 ，其中的每一个部分都是函数对  求偏导。

为方便起见，我们暂且用来举例 ，假设所形成的平面如下图

此图来自 https://blog.csdn.net/myarrow/article/details/51332421

 

 我们对 x 求偏导，事实上就是想知道 x 的变化对 z 的影响，假设此时， ，那么，就是时的平面，而会与 z 平面相交出一条曲线，此时这条曲线在处的切线的斜率 也就是 这条线与 x轴正方向所成的夹角 β 的值，代表当 x 变化时 z 的变化率，也像开始说的 x 变化的方向。

梯度上升法更新系数的公式：，我们已经知道其中为变化的方向， α 则为每次在这个方向走的步长，也成为学习率。

梯度下降法更新系数的公式：