深度学习＜一＞：梯度下降算法推导

有点猫匿

已于 2022-12-08 14:28:13 修改

阅读量467

点赞数

于 2021-01-24 17:11:28 首次发布

本文链接：https://blog.csdn.net/weixin_43511171/article/details/113045688

版权

深度学习人工智能

文章目录

前言

作为一种经典的优化方法，梯度下降广泛应用于问题的最小值计算，其中可以通过等式(1)达到改变权重的目的(这里以二维变量为例)： ${\bf w_{k+1}}={\bf w_k}-\eta\frac{\partial L({\bf w})}{\partial {\bf w}}\tag{1}$
式中 $\eta$ 是学习率， $k$ 代表第 $k$ 步迭代， $L (w)$ 是关于变量 ${\bf w}$ 的代价函数， ${\bf w}=[w_1, w_2]^T$ ,一个二维列向量。
假设现在需要计算 $L({\bf w})$ ，现在通过梯度下降来求解最优值 ${\bf w^*}$ ,即： ${\bf w^*}=\argmin_{{\bf w}} L({\bf w})$

如上图所示，给定目标函数以及一个初始点，横坐标为变量 $w_1$ ,纵坐标为变量 $w_2$ ，好比我们在一座山上，要找到山的最低点，那么在有限的视野范围内我们只能是看到哪里比当前位置低那么我们就往哪走，这样我们总能到达山的最低点(这里假设山只有全局最低点)。这里同样的道理，红色的圆圈是该点的视野，圆心是当前所在位置，我们在圈内观察，移动到视野范围内的最低点，即完成一次迭代。如此迭代下去，就能到达图中最低点，找到目标函数的最小值。
那现在的问题是如何在一定的视野范围内找到最小值？

数学推导

首先先复习一下一元泰勒公式：假设任意给定的函数 $f (x)$ 在 $x=x_0$ 处可微，那么就可以将该函数展开为： $f(x_0) + f^{'}(x_0)(x-x_0)+\frac {f^{''}(x_0)}{2!}(x-x_0)^2+\cdots$
因为当n的阶次较高时， $\lim_{x \to x_0}(x-x_0)^{n}\to0,$ ，所以： $\approx f(x_0) + f^{'}(x_0)(x-x_0)$
同理二元泰勒公式可表示为： $\approx f(x_0, y_0)+ \frac{\partial f(x_0, y_0)}{\partial x}(x-x_0)+\frac{\partial f(x_0, y_0)}{\partial y}(y-y_0)$
那么假如要将目标函数展开成二元泰勒公式，那么图中的视野范围的半径必须足够小才能满足 $w_1, w_2)$ 无限趋近于初始点 $a_0, b_0)$ 条件，因此，目标函数可以表示为： $L(w_1, w_2)=L(a_0, b_0)+ \frac{\partial L(a_0,b_0)}{\partial w_1}(w_1-a_0)+\frac{\partial L(a_0, b_0)}{\partial w_2}(w_2-b_0)$
$L(w_1, w_2)=c+ u(w_1-a_0)+v(w_2-b_0)\tag{2}$ 现在的问题转换成在圆圈内寻找变量 $w_1$ 和 $w_2$ 使得 $L(w_1, w_2)$ 最小
假设 $\Delta w_1=w_1-a_0$ , $\Delta w_2=w_2-b_0$ ,那么目标函数可以进一步简化为： $L(w_1, w_2)=c+ u\Delta w_1+v\Delta w_2\tag{3}$ 等式(3)中 $c$ 为常数，故对于求解最小值无影响，将等式(3)改写为： $L(w_1, w_2)=u\Delta w_1+v\Delta w_2\tag{4}$ $L(w_1, w_2)= \begin{bmatrix} \Delta w_1 & \Delta w_2 \end{bmatrix} \begin{bmatrix}u \\ v \end{bmatrix}\tag{5}$ $L({\bf {w}})= \Delta {\bf{w}^T} {\bf{g}}\tag{6}$ 由等式(6)可知,目标函数转换成两个向量内积，进一步将等式(6)改写为： $L({\bf {w}})= \lvert \Delta {\bf{w}^T} \rvert \lvert{\bf{g}} \rvert \cos\theta\tag{7}$ 其中 $\theta$ 表示两个向量的夹角， $\lvert{\bf{g}} \rvert$ 表示目标函数 $L({\bf {w}})$ 在点 $a_0,b_0)$ 关于 $w_1$ 和 $w_2$ 的偏微分构成的向量的模，因为已知点的坐标，因此 $\lvert{\bf{g}} \rvert$ 为定值。要使得 $L({\bf {w}})$ 最小，只有当 $\cos\theta=-1$ , $\lvert \Delta {\bf{w}^T} \rvert$ 取最大值时， $L({\bf {w}})$ 才有最小值。
因为 $\Delta {\bf{w}}$ 中的 $\Delta w_1$ 和 $\Delta w_2$ 表示的是圆内一点到圆心的距离，因此只有当这一点在圆上时， $\lvert \Delta {\bf{w}^T} \rvert$ 才有最大值，且为圆的半径 $r$ ； $\cos\theta=-1$ 时， $\theta$ = $\pi$ ，即向量 $\Delta {\bf{w}}$ 与向量 ${\bf{g}}$ 反向。
综上所述，因为向量 $\Delta {\bf{w}}$ 与向量 ${\bf{g}}$ 反向，所以 $\Delta {\bf{w}}$ 可以用 ${\bf{g}}$ 表示为： $\Delta {\bf{w}}= \begin{bmatrix} \Delta w_1 \\ \Delta w_2 \end{bmatrix}= - \eta\begin{bmatrix}u \\ v \end{bmatrix}=-\eta{\bf{g}}$ 所以： $\Delta {\bf{w}}= \begin{bmatrix} w_1-a_0 \\ w_2-b_0\end{bmatrix}= - \eta\begin{bmatrix}u \\ v \end{bmatrix}$ $\left\{\begin{array}{c} w_1-a_0 = -\eta u \\ w_2-b_0= - \eta v \\ \end{array} \right.$ $\left\{\begin{array}{c} w_1= a_0-\eta u \\ w_2=b_0 - \eta v \end{array} \right.\tag{8}$
因为 $a_0, b_0$ 是开始迭代的初始点，因此可以将等式(8)改写为 $\left\{\begin{array}{c} w_{1}^{k+1}=w_{1}^{k} -\eta u \\ w_2^{k+1}=w_{2}^{k} - \eta v \end{array} \right.\tag{9}$ 式中 $w^{k}$ 表示第 $k$ 次的 $w$ 的大小， $w^{k+1}$ 表示第 $k + 1$ 次的 $w$ 的大小
即：
${\bf w_{k+1}}={\bf w_k}-\eta{\bf{g}}\tag{10}$ ${\bf w_{k+1}}={\bf w_k}-\eta\begin{pmatrix} \frac{\partial L(a_0,b_0)}{\partial w_1}\\ \frac{\partial L(a_0,b_0)}{\partial w_2} \end{pmatrix}\tag{11}$ ${\bf w_{k+1}}={\bf w_k}-\eta\frac{\partial L({\bf w})}{\partial {\bf w}}\tag{12}$ 等式(12)与等式(1)相等，等式(12)恰好就是梯度下降中权重更新的公式。因为这个公式是有二元泰勒公式推导而来，因此必须满足的大前提是：等式(8)中的 $w_1-a_0$ 、 $w_2-b_0$ 足够小，即圆的半径足够小。推广到 $k$ 次迭代，即 $\lim{\bf w_k} = {\bf w_{k+1}}\tag{13}$ 由等式(12)可知，欲满足等式(13)的要求，那么学习率 $\eta$ 必须很小，才能满足二元泰勒公式的条件。因此使用梯度下降计算时学习率 $\eta$ 至关重要，同时也要根据实际情况进行调节以保证目标函数更快达到最优值。

直观理解

如上图所示，以一元函数为例，因为变量只有一个，所以函数某一点的梯度就等于该点处的一阶导数(图中使用该点处的斜率表示)，并且假设该函数只有全局最小值，没有局部最小值。
如图a所示，若初始点为 $A$ ，最小值点为 $B$ ，因此想要到达最小值点最直观的方法就是从初始点的位置逐步向左移动靠近 $B$ ，因此该过程可以表示为： $\theta=\theta_2-c\tag{14}$ 式(14)中 $c$ 表示表示每一次左移的距离，由图可知，距离 $c$ 可以表示为: $c=ky_2$ ， $k$ 表示该点的斜率， $y_2$ 表示初始点的y坐标，因此式(14)可以改写为： $\theta=\theta_2-ky_2\tag{15}$ 因为是不断向左移动，因此不太可能只移动一次就达到 $B$ ，故需要进行迭代，式(15)表示为： $\theta^{k+1}=\theta^{k}-\eta \cdot grad\tag{16}$ 式(16)中 $\eta$ 与 $y_2$ 对应，表示当前点的y坐标值； $g r a d$ 与斜率 $k$ 对应。
同理，在图b中，初始点为 $A$ ，最小值点为 $B$ ，因此想要到达最小值点最直观的方法就是从初始点的位置逐步向右移动靠近 $B$ ，因此该过程可以表示为： $\theta=\theta_2+c\tag{17}$ 式(17)中 $c$ 同样表示距离，假如仍然使用斜率表示的话需要添加一个负号，因为距离不可能是负值，因此距离 $c$ 可以表示为: $c=-ky_2$ ，代入到式(17)可以改写为： $\theta=\theta_2-ky_2\tag{18}$ 式(18)同理可以表示为式(16)
重写式(16)，如下所示： $\theta^{k+1}=\theta^{k}-\eta \cdot grad$ 式(16)与式(1)非常相似，只是式(16)中的 $\eta$ 表示的不是学习率，而是当前点的y坐标值。由图可知，假如当前点的y坐标很大，由斜率计算出来的距离 $c$ 可能就会很大，可能一次迭代就已经超过了最小值点，因此仅从这点来看y的值不能太大，需要适当的y坐标值才能步步逼近最小值点，当然也不能太小，太小的话逼近最小值点的速度会很慢。这一层面的性质和学习率很相似，因此此种方法有助于理解梯度下降法，但并不完全相同，因为在梯度下降法并不要求y的坐标值很小，只是要求学习率很小。