LSTM神经网络图解

LSTM神经网络图详解

(1)遗忘门,用于计算信息的遗忘(保留)程度,通过sigmoid处理后为0到1的值,1表示全部保留,0表示全部忘记。 f t = σ ( W f ⋅ [ h t − 1 , x t ] + b f ) f_{t}=\sigma \left ( W_{f}\cdot \left [ h_{t-1},x_{t} \right ] +b_{f}\right ) ft=σ(Wf[ht1,xt]+bf)在这里插入图片描述
(2)输入门,输入门用来计算哪些信息保存到状态单元中,包括两部分信息,一部分是
i t = σ ( W i ⋅ [ h t − 1 , x t ] + b i ) i_{t}=\sigma \left ( W_{i}\cdot \left [ h_{t-1},x_{t} \right ] +b_{i}\right ) it=σ(Wi[ht1,xt]+bi)
该部分可以看成当前输入有多少信息需要保存到单元状态。另一部分是
c t ~ = tanh ⁡ ( W c ⋅ [ h t − 1 , x t ] + b c ) \tilde{c_{t}}=\tanh \left ( W_{c}\cdot \left [ h_{t-1},x_{t} \right ] +b_{c}\right ) ct~=tanh(Wc[ht1,xt]+bc)
该部分用来把当前输入产生的新信息添加到单元状态中。这两部分产生新的记忆状态。
在这里插入图片描述
由此,当前时刻的单元状态由遗忘门输入和上一时刻状态的积加上输入门两部分的积,即
c t = f t ⋅ c t − 1 + i t ⋅ c ~ t {c_{t}}= f_{t}\cdot c_{t-1}+ i_{t}\cdot \tilde c_{t} ct=ftct1+itc~t在这里插入图片描述
(3)输出门,用于计算当前时刻信息被输出的程度。
o t = σ ( W o ⋅ [ h t − 1 , x t ] + b o ) o_{t}=\sigma \left ( W_{o}\cdot \left [ h_{t-1},x_{t} \right ] +b_{o}\right ) ot=σ(Wo[ht1,xt]+bo)
h t = o t ⋅ t a n h ( c t ) h_{t}= o_{t}\cdot tanh(c_{t}) ht=ottanh(ct)在这里插入图片描述
整个LSTM神经网络就是如此,下面是李宏毅老师ppt上的,可以进一步了解整个流程。PPT链接循环神经网络
在这里插入图片描述
对于门(Gate)的理解,这里有很形象的解释深度学习计算模型中“门函数(Gating Function)”的作用

LSTM(Long Short-Term Memory)是一种常用的循环神经网络(Recurrent Neural Network,RNN)的变体,旨在解决传统RNN中的梯度消失和梯度爆炸问题,以及对长期依赖关系的建模能力不足的问题。 LSTM中引入了一个称为"记忆单元"(memory cell)的关键组件,它允许网络在长时间内保持和访问信息。下面是LSTM的基本结构和关键组件: 1. 输入门(Input Gate):决定是否将输入信息加入到记忆单元中。它通过对输入和前一时刻隐状态进行加权求和,并经过一个sigmoid函数输出一个0到1之间的值。 2. 遗忘门(Forget Gate):决定是否将前一时刻的记忆保留到当前时刻。它通过对前一时刻的记忆和当前输入进行加权求和,并经过一个sigmoid函数输出一个0到1之间的值。 3. 更新状态(Update State):根据输入门和遗忘门的输出,更新记忆单元的内容。这里使用了一个tanh函数来生成一个候选记忆单元的值。 4. 输出门(Output Gate):决定当前时刻的隐状态输出。它通过对当前记忆单元和当前输入进行加权求和,并经过一个sigmoid函数输出一个0到1之间的值。 5. 隐状态(Hidden State):根据输出门的输出和当前记忆单元的内容,计算当前时刻的隐状态。这里通过将当前记忆单元的值经过一个tanh函数得到一个新的候选隐状态,然后与输出门的输出相乘得到最终的隐状态。 这些门控制着信息的流动和记忆的更新,使得LSTM能够有效地学习长期依赖关系。通过在时间序列上重复使用LSTM单元,网络可以在不同时间步之间传递信息,并且保持对过去信息的记忆。 希望这个简单的图示和解释能够帮助你理解LSTM模型的原理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值