Sigmoid型函数的梯度消失问题
基础知识
s
i
g
m
o
i
d
sigmoid
sigmoid 是一种函数类型,具有函数图形为S型曲线,单增,反函数也单增,而且输出值范围为(0,1)等特点,但其一般被默认为是
l
o
g
i
s
t
i
c
logistic
logistic 函数:
S
(
x
)
=
1
1
+
exp
(
−
x
)
S(x) = \frac{1}{1 + \exp(-x)}
S(x)=1+exp(−x)1
s
i
g
m
o
i
d
sigmoid
sigmoid 函数的导数为:
S
′
(
x
)
=
S
(
x
)
(
1
−
S
(
x
)
)
S'(x) = S(x)(1-S(x))
S′(x)=S(x)(1−S(x))
以下是
s
i
g
m
o
i
d
sigmoid
sigmoid 及其导数的图像:
从上图可看出,当
x
=
0
or
1
x=0 \ \text{or} \ 1
x=0 or 1 时,
S
′
(
x
)
=
0
S'(x)=0
S′(x)=0.
讨论
非线性函数 s i g m o i d sigmoid sigmoid 被广泛用于神经网络的全连接层(fully connected layers)中,作为激活函数,但其存在着一些 问题:
如果模型参数初始化不当或数据预处理不当,那么神经网络模型在前向传递时, s i g m o i d sigmoid sigmoid 函数可能达到饱和(处于上述图形中的两端,趋于 0 或趋于 1),这时,在模型的误差后向传递(backward pass) 过程中, s i g m o i d sigmoid sigmoid 函数的偏导数趋于 0,造成的结果就是模型误差无法继续向后传递,参数也无法得到相应的更新,这就是梯度消失。
例如,一个带有 s i g m o i d sigmoid sigmoid 非线性函数的全连接层的计算过程(使用原生numpy)如下:
z = 1/(1 + np.exp(-np.dot(W, x))) # 前向传递
dz_dx = np.dot(W.T, z*(1-z)) # 后向传递: x 的梯度
dz_dW = np.outer(z*(1-z), x) # 后向传递: W 的梯度
# np.outer()是求向量外积的函数
如果初始化权重矩阵
W
\textbf{W}
W 维度太大的话(神经元较多时),向量 np.dot(W, x)
中的元素将会具有很大的取值范围,比如 -400与400之间(
W
\textbf{W}
W 维度越大,np.dot(W, x)
元素的方差越大,元素取值范围也就越大),鉴于
s
i
g
m
o
i
d
sigmoid
sigmoid 函数的性质(可见上图),这将使得向量
z
\textbf{z}
z 中的各元素值近似于二元值:1或者0。在这种情况下,
s
i
g
m
o
i
d
sigmoid
sigmoid 函数的导数
(
z
∗
(1-z)
)
(\textbf{z} \ast \textbf{(1-z)})
(z∗(1-z)) 将会变为
0
\textbf{0}
0(“消失”),造成
z
\textbf{z}
z 和
W
\textbf{W}
W 两者的梯度都为零。由于链式法则中的乘法操作,在从该节点出发的后向传递中,所有参数的梯度则均为零,梯度为零就无法更新参数。
另一个有关 s i g m o i d sigmoid sigmoid 函数的隐藏现象就是,其导数 ( z ∗ (1-z) ) ∈ ( 0 , 0.25 ) (\textbf{z} \ast \textbf{(1-z)}) \in(0,0.25) (z∗(1-z))∈(0,0.25) ,在 z = 0.5 z=0.5 z=0.5 时取最大值 0.25 0.25 0.25,这意味着,后向传递每通过一个 s i g m o i d sigmoid sigmoid 节点,传播梯度的大小都要缩小至其原先的四分之一(或者缩小至更小)。如果使用随机梯度下降,这种现象会使得网络的底层(lower layers)相对于高层训练速度更缓慢(参数更新更慢)。
所以,在神经网络中使用非线性函数 s i g m o i d sigmoid sigmoid 时,需要警惕参数的初始化与模型输入的预处理,以避免函数在模型训练过程中达到饱和。
“死亡”ReLUs问题
基础知识
在优化方面,相比于Sigmoid型函数的两端饱和,ReLU函数为左饱和函数,且在x > 0时导数为1,在一定程度上缓解了神经网络的梯度消失问题,加速梯度下降的收敛速度。——来源于邱锡鹏老师的《神经网络与深度学习》
R e L U ReLU ReLU函数:
f ( x ) = { x x > 0 0 x ≤ 0 = m a x ( 0 , x ) f(x) = \begin{cases} x & \quad x > 0 \\ 0 & \quad x \leq 0\\ \end{cases} \qquad= max(0,x) f(x)={x0x>0x≤0=max(0,x)
R e L U ReLU ReLU导数:
f
′
(
x
)
=
{
1
x
>
0
0
x
<
0
f'(x) = \begin{cases} 1 & \quad x > 0 \\ 0 & \quad x < 0\\ \end{cases}
f′(x)={10x>0x<0
R
e
L
U
ReLU
ReLU函数及其导数的图像:
讨论
R e L U ReLU ReLU也是非线性函数,它将低于或等于 0 的神经元输入都计算成 0。使用 R e L U ReLU ReLU的全连接层的前向与后向传递的主要计算如下:
z = np.maximum(0, np.dot(W, x)) # forward pass
dz_dW = np.outer(z > 0, x) # backward pass: local gradient for W
观察上述代码你会发现,当前向传递中一个神经元的值恒等于 0(即 z i = 0 z_i=0 zi=0,表示该神经元未被激活),该神经元对应的权重的梯度将为0,这时权重得不到更新。这就会导致所谓的“死亡” R e L U ReLU ReLU问题。
如果一个 R e L U ReLU ReLU 神经元由于被不恰当地初始化而恒等于 0(这时不是模型参数的问题),或是其对应的参数在训练过程中由于大幅度的更新而接近于 0(这时在下一样本的计算中该神经元的值就会趋于为 0,随着而来的是权重的梯度为 0,权重无法更新,导致该神经元的值恒为 0),那么这个神经元将永远处于死亡状态。这就是“死亡” R e L U ReLU ReLU。这就像是永恒的,无法恢复的大脑损伤。有时,你将整个训练数据集放入一个训练过的网络中进行前向计算,你可能会发现大部分(如 40 % 40\% 40% )的神经元的值一直恒为零。
所以,在使用 R e L U s ReLUs ReLUs 时,要警惕死亡 R e L U s ReLUs ReLUs,这些神经元在整个训练数据集中任一样本中都不会被激活,而是处于死亡状态。神经元在训练过程中的“死亡”,通常是学习率过大造成的。
RNNs梯度爆炸问题
基础知识
循环神经网络(Recurrent Neural Network,RNN)是一类具有短期记忆能力的神经网络。在循环神经网络中,神经元不但可以接受其它神经元的信息,也可以接受自身的信息,形成具有环路的网络结构。和前馈神经网络相比,循环神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。循环神经网络的参数学习可以通过随时间反向传播算法[Werbos, 1990]来学习。随时间反向传播算法即按照时间的逆序将错误信息一步步地往前传递。当输入序列比较长时,会存在梯度爆炸和消失问题[Bengio et al., 1994, Hochreiter and Schmidhuber, 1997, Hochreiter et al.,2001],也称为长程依赖问题。——来源于邱锡鹏老师的《神经网络与深度学习》
以下是简单
R
N
N
RNN
RNN的结构:
R
N
N
RNN
RNN的计算公式如下:
- 隐藏状态S:
S t = f ( U s x x t + W s s S t − 1 ) S_t = f(U_{sx}x_t + W_{ss}S_{t-1}) St=f(Usxxt+WssSt−1)
- 输出y:
y t = g ( V o s S t ) y_t = g(V_{os}S_t) yt=g(VosSt)
上述 U 、 W 、 V U、W、V U、W、V 均为权重矩阵, x t x_t xt 和 y t y_t yt 分别为 t t t 时间步的输入与输出, S t − 1 S_{t-1} St−1 为 t − 1 t-1 t−1 时间步的隐藏状态, S t S_t St 为当前时间步的隐藏状态。
讨论
用简单
R
N
N
s
RNNs
RNNs 来展示后向传播(backpropagation)的非直观影响。如下的图片来自
C
S
231
n
CS231n
CS231n 课程 的一张
p
p
t
ppt
ppt,其展示了一个没有任何输入
x
\textbf{x}
x,只计算隐藏状态(hidden state)的简化
R
N
N
RNN
RNN (等价于,输入
x
\textbf{x}
x 恒为
0
\textbf{0}
0):
该
R
N
N
RNN
RNN 被展开为
T
T
T 个时间步(注意,该
R
N
N
RNN
RNN 使用
R
e
L
U
ReLU
ReLU 作为激活函数)。当你观察后向传递的计算时,你会发现,在沿时间反向传播中,梯度传导至所有隐藏状态时总是与相同的矩阵相乘(状态转换矩形
W
h
h
W_{hh}
Whh),并穿插着非线性函数的反向传递。
当你用一个标量
a
a
a 乘以一些标量
b
b
b (例如,
a
∗
b
∗
b
∗
b
∗
b
∗
b
a*b*b*b*b*b
a∗b∗b∗b∗b∗b)时,会发生什么呢?该结果要么趋于 0(如果
∣
b
∣
<
1
|b|<1
∣b∣<1) ,要么趋于无穷(如果
∣
b
∣
>
1
|b|>1
∣b∣>1)。在
R
N
N
RNN
RNN 的后向传递中,有着相同的结果,只不过这时的
b
\textbf{b}
b 是一个矩阵而不是一个标量,这时我们需要用该矩阵中的最大特征值(largest eigenvalue)来诠释该概念。这涉及到线性代数中利用矩阵特征值计算
A
k
x
A^kx
Akx 方面的知识,
A
k
x
A^kx
Akx 的值主要取决于
A
A
A 中最大特征值与
x
x
x 本身,如下:
所以,当你使用 R N N s RNNs RNNs时,需要进行梯度裁剪(gradient clipping),或是转向使用长短时记忆( L S T M LSTM LSTM)。
注意
该文章中的大部分内容(有些细微改动,基于个人理解)来源于 Andrej Karpathy \text{Andrej Karpathy} Andrej Karpathy的博客:Yes you should understand backprop
能力有限,本文难免有错误之处,欢迎指正。强烈建议读者阅读原博以及观看 Andrej Karpathy \text{Andrej Karpathy} Andrej Karpathy有关神经网络的课程。原博通过说明这些函数所存在的问题来告诫大家学习后向传播算法的重要性。