【深度学习】 LSTM模型

循环神经网络(Recurrent Neural Networks)人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时,你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候,你并不会忘记之前看过的文字,从头思考当前文字的含义。传统的神经网络并不能做到这一点,这是在对这种序列信息(如语音)进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类,传统的神经网络是很难通过...
摘要由CSDN通过智能技术生成

循环神经网络(Recurrent Neural Networks)

人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时,你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候,你并不会忘记之前看过的文字,从头思考当前文字的含义。

传统的神经网络并不能做到这一点,这是在对这种序列信息(如语音)进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类,传统的神经网络是很难通过利用前面的事件信息来对后面事件进行分类。

而循环神经网络(下面简称RNNs)可以通过不停的将信息循环操作,保证信息持续存在,从而解决上述问题。RNNs如下图所示


1.png

可以看出A是一组神经网络(可以理解为一个网络的自循环),它的工作是不停的接收x_{t}并且输出h_{t}。从图中可以看出A允许将信息不停的再内部循环,这样使得它可以保证每一步的计算都保存以前的信息。

这样讲可能还是有点晕,更好的理解方式,也是很多文章的做法,将RNNs的自循环结构展开,像是将同一个网络复制并连成一条线的结构,将自身提取的信息传递给下一个继承者,如下图所示。


2.png

这种链式的结构揭示了RNNs与序列和列表类型的数据密切相关。好像他们生来就是为了处理序列类型数据的。

谁说不是呢!在过去的几年里,RNNs在语音识别、文字建模、翻译、字幕等领域有很成功的应用。在Andrej Karpathy写的博客 The Unreasonable Effectiveness of Recurrent Neural Networks中讨论了RNNs取得的惊人成果,这里就不详细讨论了。

很对成功的案例都有一个共性,就是都用了一种叫LSTMs的特殊的RNNs网络结构。下面就来看看什么是LSTMs。

长依赖存在的问题

从之前的描述可以看出来,RNNs理论上是可以将以前的信息与当前的任务进行连接,例如使用以前的视频帧来帮助网络理解当前帧。如果RNNs能做到这一点,那将会是非常的有用。但是他们能做到这点吗?答案是不一定。

有时候我们需要利用近期的信息来执行来处理当前的任务。例如,考虑用一个语言模型通过利用以前的文字信息来预测下一个文字。如果我们需要预测“the clouds are in the sky”这句话的最后一个字,我们不需要其他的信息,通过前面的语境就能知道最后一个字应该是sky。在这种情况下,相关信息与需要该信息的位置距离较近,RNNs能够学习利用以前的信息来对当前任务进行相应的操作。如下图所示通过输入的x_{1}、x_{2}信息来预测出h_{3}

3.png

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习LSTM(Long Short-Term Memory) 是一种基于循环神经网络(RNN)结构的深度学习模型,主要用于处理和建模序列数据。LSTM具有记忆单元和门控机制,可以有效地捕捉和利用长期依赖关系,并且在各种应用中取得了很好的效果。 LSTM模型的案例源码通常包含以下几个关键部分: 1. 数据准备:首先,需要对输入数据进行预处理,包括数据加载、标准化和划分训练集、验证集和测试集等。 2. 模型构建:接下来,需要构建LSTM模型的网络结构。一般而言,LSTM模型由多个LSTM层和其他辅助层(如全连接层、Dropout层等)组成,用于提取和表达序列数据的特征。 3. 模型训练:在模型构建完成后,需要通过训练来优化模型参数,使其能够更好地拟合训练数据。训练过程需要定义损失函数和优化算法,通常使用梯度下降算法来最小化损失函数。 4. 模型评估:在模型训练完成后,需要对模型进行评估。评估可以使用各种指标,如准确率、精确率、召回率等,来评估模型在测试集上的性能。 5. 模型预测:最后,可以使用训练好的模型来进行预测。通过输入新的序列数据,模型可以预测其对应的输出结果。 总之,深度学习LSTM模型的案例源码包括数据准备、模型构建、模型训练、模型评估和模型预测五个关键部分。通过源码的学习和实践,可以更好地理解和应用LSTM模型来处理和建模序列数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值