一. 背景
RNN网络是为了解决和序列有关的问题,即当前的输出,不仅与当前的输入有关,而且与之前的输入也有关系。需要引入时间维度去解决该问题。
基于全连接神经网络的方法存在参数太多,无法利用数据中时间序列信息等问题。
RNN网络是全连接网络的延伸。
二. 前馈网络
前馈网络直接向前传递信息,已经接触过的点不会再接触。而循环网络通过循环传递信息。
三、应用
RNN网络在挖掘数据中的时序信息,以及语义信息的深度表达能力被充分利用,并在语音识别,语言模型,机器翻译以及时序分析等方面实现了突破,适合短句子应用。
四、RNN网络结构分析
(1)RNN网络是基于全连接网络发展的,但是RNN网络与全连接网络最大的区别在于,RNN的隐藏层之间的结点是有连接的,隐藏层的输入不仅包括输入层的输入,还包括上一时刻隐藏层的输入,而全连接网络结点之间是不存在横向联系的。
(2)RNN可以看做多个全连接网络的横向联系。
(3)输出是一个序列。
小白如何理解循环神经网络RNN
于 2019-11-11 15:09:47 首次发布
循环神经网络(RNN)是为了解决序列问题,通过引入时间维度,利用数据中的时序信息。RNN相比前馈网络,通过循环传递信息,适合处理短句子的语义表达,广泛应用于语音识别、语言模型等领域。然而,RNN存在梯度消失导致的短时记忆问题,这引发了LSTM等改进结构的发展。此外,双向循环网络和Transformer网络等进一步拓展了其能力。
摘要由CSDN通过智能技术生成