深度学习之梯度下降法,用excel体验梯度下降法

  深度学习的过程中经常需要求函数的最小值，而求最小值的最常用的方法之一就是梯度下降法。

什么是梯度下降法？

  我们由一个简单的例子出发。已知$z=f(x,y)$，如何求该函数的最小值？根据偏导数的含义，当$z$取最小值的必要条件如下：$$\frac{\partial f(x,y)}{\partial x}=0\frac{\partial f(x,y)}{\partial y}=0$$
  但通常情况下，函数会很复杂，求偏导也会十分复杂。
  想象一下兵乓球在斜坡上会如何下降。在斜坡上释放兵乓球时，兵乓球会沿着最陡的方向下降，下降一段后，将兵乓球暂停再释放，兵乓球还是会沿着最陡的坡度下降，以此方式最终到达最低点。其下降的过程要点在于“释放一段路程，暂停，再释放”。每次释放兵乓球都会重新寻找最陡的坡度下降，我们将这种方法称为“梯度下降法”。在数学层面，由于上述下降的路径也是最短的路径，也被称为“最短路径法”。
  联系近似公式（关于近似公式可参考这篇多变量近似公式）、向量的性质，有如下式子：$$\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)=\frac{\partial f}{\partial x}\cdot \Delta x+\frac{\partial f}{\partial y}\cdot \Delta y$$

  表达成内积的形式为$$\Delta z=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}).(\Delta x,\Delta y)$$
  其中的$\Delta z$就是“每次兵乓球下降的距离”，也就是每次更新的大小。因此，根据向量的性质，当$\Delta z$下降（减少）得最快时，向量$(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$与$(\Delta x,\Delta y)$须满足以下关系：$$(\Delta x,\Delta y)=-\eta \cdot (\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})\eta 为正的微小常数$$

  同时也称$(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$为梯度
  推广到多变量：$$(\Delta x_1,\Delta x_2,\cdots ,\Delta x_n)=-\eta \cdot (\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n})(1)$$

  为了使表达式更简洁

1. 哈密顿算子的定义如下

$$\nabla f=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n})(函数对所有变量的微分）$$
  2. 引入位移向量$$\Delta x=(\Delta x_1,\Delta x_2,\cdots ,\Delta x_n)$$
  (1)式可化简为 $$\Delta x=-\eta \nabla f\eta 为正的微小常数$$
  $\eta$称为学习率，若设置过大则可能跳过最小值，若设置国小则可能在极小值（“小山谷”）中出不来，只能通过反复试验来寻找恰当的值。

用excel体验梯度下降法

  求$z=x^2+y^2的$最小值

1. 初始设定
   

2. 计算位移向量
     由$z=x^2+y^2$计算$z$对$x$和$y$的偏导，可得$$\frac{\partial f}{\partial x}=2x\frac{\partial f}{\partial y}=2y(2)$$
   $$\Delta x=-\eta \nabla f\eta 为正的微小常数(3)$$
     根据学习率和初始位置（$x$和$y$的值）计算梯度[式2]以及位移向量[式3]，并最终得到函数值。
   

3. 更新位置
   根据梯度下降法，由上一次的位置$(x_i,y_i)$和位移向量$(\Delta x,\Delta y)$计算得到目前最新的位置$(x_{i+1},y_{i+1})$
     
   $$(x_{i+1},y_{i+1})=(x_i,y_i)+(\Delta x,\Delta y)$$
   

4. 反复执行2-3的操作
     反复执行2-3的操作，到30次之后可以看到求得的函数值为0，$x$和$y$的值也为0。