深度学习中序列模型(RNN、GRU、LSTM、Transformer)的本质理解

不成熟想法

我们如何理解序列模型计算出来的隐藏状态向量,它究竟表示什么呢?比如有购买序列:男士外套、男士外套、男士T恤、男士T恤、男士T恤,人类看到这个序列会得出怎样的结论?至少有下面几条:

1、 他购买女士衣服的概率比较低

2、 他购买男士裤子的概率比较低

3、 他喜欢购买男士外套和男士T恤

4、 最近他购买男士T恤较多,所以下一个购买的商品,男士T恤会高于男士外套

5、 …

所以我的理解是,隐藏状态就是对上面所有这些结论的一个综合向量表示。

上面是对于从左到右的序列模型,那bidirectionalRNN和transformer呢?

这俩又可以进一步细分为sentence level 和 token level。对于sentence level,会丢失位置信息,隐藏状态表示的结论就是:

1、 他购买女士衣服的概率比较低

2、 他购买男士裤子的概率比较低

3、 他喜欢购买男士外套和男士T恤

4、 他购买男士T恤较多,所以更喜欢男士T恤

5、 。。。

对于token level,比如我们处于第三个购买商品上,左边儿是两件男士外套,右边儿是两件男士T恤,自己是男士T恤,该商品的隐藏状态表示的结论就是:

1、 他购买女士衣服的概率比较低

2、 他购买男士裤子的概率比较低

3、 他喜欢购买男士外套和男士T恤

4、 我自己是男士T恤,所以他更喜欢男士T恤

5、 …

写得很不严谨,一些不成熟的想法,供大家选择算法时能够有些intuition~~

正餐

开始严谨了。r2rt大神的blog探讨了RNN、GRU和LSTM模型架构设计背后隐藏的intuition,告诉你模型中的每一部分是怎么来的,所以特别推荐读一读:https://r2rt.com/written-memories-understanding-deriving-and-extending-the-lstm.html

本章节将要点进行总结。

RNN

在这里插入图片描述

RNNcell中的状态信息就是对输入序列的向量表示(截止到所在时刻)。它的计算方式决定了状态向量state一直在变换,也就是文中说的information morphs,所以模型不够稳定。举个例子,“这条裤子款式很好,价格合理”,根据评论描述按照商品类别对评论归类,那这条评论就属于裤子的。我们读到裤子其实就已经可以判断类别了,此时state就是我们需要的。但是裤子后面的输入文本对这个state进行了信息变换,最后rnn的输出状态已经不是我们想要的了。

RNN的第二个问题是,gradient vanishing,也就是梯度消失问题。RNN的梯度消失和CNN的不同,指的是较早时刻的梯度发生了消失,RNN的梯度近似为各个时刻的梯度计算结果之和,较早时刻的梯度计算包含的小于1的连乘项较多,因而梯度基本为0了。结果就是只有最近时刻的输入参与了误差的后向传播过程,长度为100的序列,模型就只能利用最后的10个元素。

Prototype LSTM

information morphs发生的原因是对于上个时刻的state,我们不加选择的全部拿来计算当前时刻的state,这是读的问题。另一个原因是,计算出来的新状态,不加选择的将上个时刻的state完全覆盖。所以我们要有选择的进行读和写操作。这样将RNN的结构修改如下:

在这里插入图片描述
i t i_t it o t o_t ot分别是控制写和读的门。

s t ~ = ϕ ( W ( o t ⊙ s t − 1 ) + U x t + b ) \tilde{s_t}=\phi(W(o_t\odot s_{t-1})+Ux_t+b) st~=ϕ(W(otst1)+Uxt+b)
s t = i t ⊙ s t ~ s_t=i_t\odot\tilde{s_t} st=itst~

对于RNN的第二个问题,我们需要保证较早时刻的梯度可以流动到当前时刻,实现方法也很简单,写的时候把 s t − 1 s_{t-1} st1也考虑进来就可以了,即 s t = s t − 1 + i t ⊙ s t ~ s_t=s_{t-1}+i_t\odot\tilde{s_t} st=st1+itst~。看着是不是眼熟,大名鼎鼎的残差网络ResNet就是借鉴了LSTM。但是这样设计也有问题,远距离的所有输入都不加选择的保留下来。我们希望的是,远距离的有些输入留下来,有些就遗忘吧。所以可以设计成在这里插入图片描述
f t f_t ft是遗忘门,在这里插入图片描述
这样就得到了文中的Prototype LSTM:
在这里插入图片描述

看看是不是和GRU很像了。

GRU

Prototype LSTM的主要问题是state缺少bound,所以可能会无限增长直到模型崩溃,无法再学习任何东西,有点儿像梯度爆炸。于是乎我们对 f t f_t ft i t i_t it做下修改,使得 s t s_t st无法膨胀,这样我们就得到了GRU:
在这里插入图片描述

LSTM

除了GRU中的那种bound方法,还有第二个bound方法,就是在计算门和状态的时候,对state进行normalization, ϕ ( s t − 1 ) \phi(s_{t-1}) ϕ(st1) , ϕ \phi ϕ可以是tanh()。这样模型结构如下,文中称为Pseudo LSTM:
在这里插入图片描述

这个模型的问题就是最后的 r n n o u t rnn_out rnnout不够完美,我们希望输出的状态也应该是有选择的,那改成这样可行么:
r n n o u t = o t ⊙ ϕ ( s t ) rnn_{out}=o_t\odot\phi(s_t) rnnout=otϕ(st)
不够完美,因为 o t o_t ot是使用上个时刻的state计算的,所以可以改成:
o t ′ = σ ( W o ( ϕ ( s t ) ) + U o x t + b o ) o_t'=\sigma(W_o(\phi(s_t))+U_ox_t+b_o) ot=σ(Wo(ϕ(st))+Uoxt+bo)
r n n o u t = o t ′ ⊙ ϕ ( s t ) rnn_{out}=o_t'\odot\phi(s_t) rnnout=otϕ(st)
这是一个读的过程,这样我们经历了读-写-读三步。如果我们把第一个读的步骤去掉,写步骤使用上一时刻读的结果,就得到了标准的LSTM了。
在这里插入图片描述

Peephole LSTM

Peephole LSTM是比较有名的LSTM的变体了。LSTM的问题是,使用 h t − 1 h_{t-1} ht1计算门和候选状态,但是 h t − 1 h_{t-1} ht1并不是主状态,即memory cell的状态信息,而是我们经过筛选的输出信息。所以我们在计算门和候选状态时,应该将 c t − 1 c_{t-1} ct1也考虑进来。这样模型结构如下:
在这里插入图片描述
注意计算 o t o_t ot的时候使用的是 c t c_{t} ct而不是 c t − 1 c_{t-1} ct1

总结

RNN、GRU、LSTM模型虽然复杂,公式繁多,但是每个符号都有它存在的意义,绝不是随便就写在那里的,当然更不是凭空猜出来,而是基于一定的设计思路和直觉想法。对我的启示时,对AI算法的理解一定要上升到intuition层面,搞清楚算法每一步后面的动机。相比于直接去记忆抽象的公式符号,动机其实是更容易记忆的。当动机都掌握清楚了,公式推导自然也是水到渠成的事情了。这应该才是掌握一个算法正确的路子。

  • 8
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习在时间序列建模的应用非常广泛,其随机性时间序列模型是一种特殊的模型类型。随机性时间序列模型被用来建模具有随机性的时间序列数据,如股票价格、气象数据等。这些模型能够捕捉序列的随机性和时序依赖关系,从而进行预测和分析。 在深度学习,循环神经网络(RNN)是一种常用的模型架构,用于处理时间序列数据。RNN通过在网络引入循环连接,可以处理任意长度的时间序列,并将序列的历史信息引入到当前的预测。然而,传统的RNN存在梯度消失或梯度爆炸等问题,限制了其在长序列上的表现。 为了解决这些问题,研究人员提出了一些改进的RNN模型,如长短期记忆网络(LSTM)和门控循环单元(GRU)。这些模型通过引入门控机制,可以更好地捕捉长期依赖关系,并且在训练时更稳定。它们在随机性时间序列建模任务取得了较好的效果。 除了RNN系列模型,还有一些其他的深度学习模型可用于随机性时间序列建模,如卷积神经网络(CNN)、自注意力机制(Transformer)等。这些模型在时间序列数据的处理上有其独特的优势,可以根据具体任务的需求选择合适的模型。 总之,深度学习可以应用于随机性时间序列模型的建模和预测,其RNN系列模型是常用且有效的选择。通过使用这些模型,我们可以更好地理解和利用时间序列数据的随机性和时序依赖关系。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值