在一元一次函数中,函数的斜率可以代表函数在y方向上的变化率,如下图,函数的斜率为0.5,当 变化1,那么
变化0.5.
换一种方式来想,当前这条线和x轴的夹角为β,斜率其实是,
其实可以理解为当
发生变化时变化的方向 便是 乘以一个角度 β 的 tan 值。
另外,斜率其实就是我们对函数 中的
求导。
基于以上,我们假设系数向量 ,最终激活函数的输入
,我们要采取最优化方法来对系数进行确定。每次变化系数,都要选择系数变化最快的方向。
函数 的梯度为
,其中的每一个部分都是函数
对
求偏导。
为方便起见,我们暂且用来举例 ,假设
所形成的平面如下图
我们对 x 求偏导,事实上就是想知道 x 的变化对 z 的影响,假设此时,
,那么
,就是
时的平面,而
会与 z 平面相交出一条曲线,此时这条曲线在
处的切线的斜率 也就是 这条线与 x轴正方向所成的夹角 β 的
值,代表当 x 变化时 z 的变化率,也像开始说的 x 变化的方向。
梯度上升法更新系数的公式:,我们已经知道其中
为
变化的方向, α 则为每次在这个方向走的步长,也成为学习率。
梯度下降法更新系数的公式: