梯度下降_神经网络中的运用

最新推荐文章于 2022-11-19 17:08:27 发布

默_存

最新推荐文章于 2022-11-19 17:08:27 发布

阅读量598

点赞数 2

分类专栏：深度学习文章标签：梯度下降 Gradient Descent 神经网络

本文链接：https://blog.csdn.net/weixin_40215443/article/details/86245604

版权

深度学习专栏收录该内容

5 篇文章 3 订阅

订阅专栏

简单的数学推导,讲解神经网络中常用的梯度下降.

为了便于理解, 我们就用最简单的网络来讲解.比如下面的网络.

此网络只有简单的两层，３个输入 $x 1, x 2, x 3$ . １个输出 $\hat{y}$ ，激活函数 $f (h)$ 采用sigmoid函数．梯度下降的目标是求得最合适的权重 $w 1, w 2, w 3$ 使得预测输出 $\hat{y}$ 与真实值 $y$ 之间的误差 $\frac{1}{2}(y - \hat{y})$ 最小, 这里的 $\frac{1}{2}$ 是为了方便计算. 从下图直观的感受下, 就是沿着梯度下降的方向移动, 逐渐到达 $E$ 的最小值处.

上图箭头的方向就是梯度下降方向的更新步长 $\Delta w = -gradient$ ，下面来推导一下如何求得 $\Delta w$ .
$\begin{aligned}\frac{\partial E}{\partial w_{i}} &= \frac{\partial }{\partial w_{i}}\frac{1}{2}(y - \hat{y})^{2} \\&= (y - \hat{y})\frac{\partial }{\partial w_{i}}(y - \hat{y}) \\&= -(y - \hat{y})\frac{\partial \hat{y}}{\partial w_{i}}\end{aligned}$

其中 $\hat{y} = f(x)$ 且 $\sum _{i}w_{i}x_{i}$ , 那我们进一步对上式推导:

$\begin{aligned}\begin{aligned}\dfrac {\partial E}{\partial w_{i}}&=-\left( y-\widehat {y}\right) \dfrac {\partial \hat{y}}{\partial w_{i}}\\&= -\left( y-\widehat {y}\right) f'\left( h\right) \dfrac {\partial }{\partial w_{i}}\sum w_{i}x_{i}\end{aligned}\end{aligned}$

其中:
$\begin{aligned}\begin{aligned}\dfrac {\partial }{\partial \omega_{i}}\sum _{i}w_{i}x_{i}&=\dfrac {\partial }{\partial \omega _{i}}\left[ w_{1},x_{1}+w_{2}x_{2}+\ldots +w_{i}x_{i}+\ldots w_{n}x_{n}\right] \\ &=x_{i}\end{aligned}\end{aligned}$

到此未知我们就顺利的得到了误差 $E$ 关于 $w_{i}$ 的梯度:
$\begin{aligned}\dfrac {\partial E}{\partial \omega _{i}}=-\left(y- \hat{y}\right) f'\left( h\right) x_{i}\end{aligned}$

沿着梯度下降的方向,以一定的学习速率 $\eta$ 移动,来更行步长: $\begin{aligned}\Delta w_{i}=\eta\dfrac {\partial E}{\partial \omega _{i}}\end{aligned}$

为了方便表述,也便于求解,将步长更新 $\Delta w_{i}$ 改写为:
$\Delta w_{i}=\eta \delta x_{i}$

其中: $\eta$ 为学习速率,值越大权重 $w$ 更新的速度也就越快. $\delta$ 为误差项 error term.
$\begin{aligned}\delta =-\left(y- \hat{y}\right) f'\left( h\right) \end{aligned}$

有了权重 $w$ 的步长更新 $\Delta w$ ,我们就可以得到进一步接近最优解的新权重了 $w+\Delta w$ .如此反复,经过一步步的迭代,权重 $w$ 将逐步收敛到最优解,就像上图2示意的那样,这就是梯度下降了.

根据上面的简单网络, 实列演示, 看具体怎么用梯度下降来更新权重 $w$ .

import numpy as np
#定义sigmoid函数
def sigmoid(x):
    return 1/(1+np.exp(-x))
#sigmoid函数求导
def sigmoid_prime(x):
    return sigmoid(x) * (1 - sigmoid(x))

learnrate = 0.5                       #学习率
x = np.array([1, 2, 3])               #定义输入.x1,x2,x3
y = np.array(0.5)                     #定义输出
w = np.array([0.5, -0.5, 0.3])        #初始化权重,也就是上文中的w1,w2,w3.
h = np.dot(x,w)                       #求得h的值
nn_output = sigmoid(h)                #求得f(h)的值
error = y-nn_output                   #求得误差
error_term = sigmoid_prime(h)*error   #求得误差项
del_w = learnrate*error_term*x        #权重w的改变del_w

print('网络的输出:')
print(nn_output)
print('误差Error:')
print(error)
print('权重w的改变:')
print(del_w)

网络的输出:
0.598687660112452
误差Error:
-0.098687660112452
权重w的改变del_w:
[-0.01185539 -0.02371077 -0.03556616]