![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
全站最菜QAQ
我是一只小菜鸡o(╥﹏╥)o
展开
-
DNN中的梯度消失/爆炸原因
DNN中的梯度消失/爆炸原因梯度消失/梯度爆炸是深度学习中老生常谈的话题,这篇博客主要是对DNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。如上图所示,假设有2个隐层,前向传播公式:f1=σ(w1x+b1),z1=w1x+b1f_1 = \sigma(w_1x+b_1),z_1 = w_1x+b_1f1=σ(w1x+b1),z1=w1x+b1f2=σ(w2f1+b2)...原创 2019-07-27 16:32:34 · 699 阅读 · 0 评论 -
RNN中的梯度消失/爆炸原因
RNN中的梯度消失/爆炸原因梯度消失/梯度爆炸是深度学习中老生常谈的话题,这篇博客主要是对RNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。首先,上图是RNN的网络结构图,(x1,x2,x3,…,)(x_1, x_2, x_3, …, )(x1,x2,x3,…,)是输入的序列,XtX_tXt表示时间步为ttt时的输入向量。假设我们总共有kkk个时间步,用第kkk个时间步的输出...原创 2019-07-27 16:33:38 · 485 阅读 · 0 评论 -
LSTM缓解梯度消失的原因
LSTM缓解梯度消失的原因本文主要是对LSTM缓解梯度消失的原因,从公式上进行推导理解。对于LSTM的结构如下:ct=ct−1⊗σ(Wf⋅[Ht−1,Xt])⊕tanh(Wc⋅[Ht−1,Xt])⊗σ(Wi⋅[Ht−1,Xt])c_{t}=c_{t-1} \otimes \sigma\left(W_{f} \cdot\left[H_{t-1}, X_{t}\right]\right) \...原创 2019-07-27 16:35:54 · 1085 阅读 · 0 评论