梯度下降法(Gradient Descent)基础公式推导

这篇Blog的主要内容是关于梯度下降法的一些理解，以及相关的公式推导。梯度下降法很早之前就接触过，但是因为长时间不用，所以理解上也有了一些欠缺，今天看了一些参考文献，写一下自己的一些理解。便于以后帮助自己回忆。

Artificial Neural Network

关于人工神经网络，这是目前使用最广泛的一类算法了。神经网络和其他的算法相比较，计算更加直接。不需要去推导公式，去计算两者的关系，直接通过网络的方式连接，然后用大量的数据训练，没有关系的连接权重逐渐变弱，有关系的权重逐渐变强。如果把输入和输出的函数关系写出来，会发现是一个很复杂的非线性公式。也正是因为这一点，神经网络的拟合程度比普通的线性，非线性算法都要好。

Gradient Descent

对于用梯度下降法训练神经网络，我之前一直没有弄明白的点是为什么梯度的方向就是函数增加最快的方向， 我理解梯度方向是变化最快的方向，但是一直不理解为什么是增加的。今天看了一些参考文献，理解了一点。

对于神经网络，我们会有训练集的数据 { x 0 , y 0 } \{x_0, y_0\} {x0​,y0​}，$x$和$y$之间有函数关系$y=f(x)$，函数有自己的参数$p$，对应于神经网络的权值。所以有$y=f(p,x)$。为了能够训练神经网络，让输出和预期值越来越接近，可以定义损失函数(Loss Function)，有$l=L(x_0,y_0,y)$。其中$y=f(p,x_0)$，所以：

$$l=L(p,y_0,x_0)$$

计算$l$关于$p$的梯度，所以：

$$▽C_{xr}(p)=<\frac{\partial C_{xr}}{\partial p^{(0)}},...,\frac{\partial C_{xr}}{\partial p^{(n)}}$$

沿梯度方向，损失函数$l$的值是逐渐增加的

对这句话的理解，在于是什么量沿着梯度方向的变化。应该是自变量$p$。例如：

当$\frac{\partial C_{xr}}{\partial p^{(0)}}（p_0）>0$时，也就是说，函数$l(p^0)$在$p_0$点时，函数曲线沿$p=p^0$的切线斜率是大于0的，也就是说，在很小的一个区间$(p_0-\delta ,p_0+\delta )$，如果$p_1>p_0$， 那么有$l(p_1)>l(p_0)$。所以，如果沿着梯度的负方向，损失函数的值也会降低。对于梯度大于0，会比较好理解，因为$l$是增函数。

如果$\frac{\partial C_{xr}}{\partial p^{(0)}}(p_0)<0$，那么有$l(p^0)$是减函数，也就是说，函数在$p_0$点沿$p=p^0$的切线斜率是小于0的。即，在很小的一个区间$(p_0-\delta ,p_0+\delta )$，如果$p_1>p_0$， 那么有$l(p_1)<l(p_0)$。但是由于梯度本身小于0，所以梯度的反方向就是$p^0$递增的方向。又因为$l(p^0)$是减函数，所以沿梯度的负方向，$l(p^0)$还是会逐渐降低。

Neural Network中梯度下降法的推导

这里用最简单的全连接网络为例，如图所示：

$x$：网络的输入值

$w_1,w_2,w_3$：层与层的连接参数

$h_1,h_2$：中间层的输入值

$o_1,o_2$：中间层的输出值

$y$：网络的输出值

假设输入参数的个数为$m$，输出参数的个数为$n$，第一层的神经元个数为$a$，第二层的神经元参数为$b$，所以：

$x\in R^{1\ast m}$

$y\in R^{1\ast n}$

$h_1,o_1\in R^{1\ast a}$

$h_2,o_2\in R^{1\ast b}$

$w_1\in R^{m\ast a}$

$w_2\in R^{a\ast b}$

$w_3\in R^{b\ast n}$

网络中每层的激活函数(activation function)用sigmoid函数：

$f(x)=\frac{1}{1+e^{-x}}$

sigmoid函数的导数有如下特点(可以自己推导)：

$f^{\prime }(x)=f(x)\ast (1-f(x))$

假设用来训练的数据集为$<x,r>$，$x$为输入值，$r$为输出值

损失函数为：

$L=\frac{1}{2}\ast (y-r{)}^2$

所以有如下公式：

$$h_1=w_1\ast x+b_1$$

$$o_1=sigmoid(h_1)$$

$$h_2=w_2\ast o_1+b_2$$

$$o_2=sigmoid(h_2)$$

$$h_3=w_3\ast o_2+b_3$$

$$y=sigmoid(h_3)$$

计算$L$关于$w_3$的梯度，有：

$$\frac{\partial L}{\partial w_3}=(y-r)\ast \frac{\partial (y-r)}{\partial w_3}$$

$$=(y-r)\ast \frac{\partial (y-r)}{\partial h_3}\ast \frac{\partial h_3}{\partial w_3}$$

$$=(y-r)\ast (y-r)\ast [1-(y-r)]\ast o_2$$

$$=(y-r{)}^2\ast (1-y+r)\ast o_2$$

类似的，可以得到：

$$\frac{\partial L}{\partial b_3}=(y-r{)}^2\ast (1-y+r)$$

$$\frac{\partial L}{\partial w_2}=(y-r{)}^2\ast (1-y+r)\ast w_3\ast o_2\ast (1-o_2)\ast o_1$$

$$\frac{\partial L}{\partial b_2}=(y-r{)}^2\ast (1-y+r)\ast w_3\ast o_2\ast (1-o_2)$$

$$\frac{\partial L}{\partial w_1}=(y-r{)}^2\ast (1-y+r)\ast w_3\ast o_2\ast (1-o_2)\ast o_1\ast (1-o_1)\ast x$$

$$\frac{\partial L}{\partial b_1}=(y-r{)}^2\ast (1-y+r)\ast w_3\ast o_2\ast (1-o_2)\ast o_1\ast (1-o_1)$$

计算损失函数$L$关于网络权重的梯度后，网络权重的变化为：

$$△W=-\eta \ast \frac{\partial L}{\partial W}$$

其中， $W$是网络中的权重参数，一般只通过学习率来调节网络训练的快慢，是不够的。会加入动态变化量，以加快学习过程。所以：

$$△W=-\eta \ast \frac{\partial L}{\partial W}+\alpha \ast \frac{\partial L}{\partial W}$$

其中，$\alpha$表示动态变化项，是一个常数。