LSTM 长短期记忆网络

最新推荐文章于 2024-08-21 10:25:32 发布

boboluotou

最新推荐文章于 2024-08-21 10:25:32 发布

阅读量1k

点赞数 1

分类专栏： NLP

本文链接：https://blog.csdn.net/weixin_45798469/article/details/105664008

版权

本文深入探讨LSTM（长短期记忆网络），一种为了解决传统RNN的长期依赖问题而设计的时间循环神经网络。通过细胞状态和门控机制，LSTM能够有效地处理长距离依赖，广泛应用于自然语言处理等多个领域。

摘要由CSDN通过智能技术生成

转载自：https://www.jianshu.com/p/95d5c461924c

LSTM

长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。

人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。
传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。

RNN 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。

循环神经网络（下面简称RNNs）可以通过不停的将信息循环操作，保证信息持续存在，从而解决上述问题。RNNs如下图所示。
在这里插入图片描述可以看出A是一组神经网络（可以理解为一个网络的自循环），它的工作是不停的接收 $X_{t}$ 并且输出 $h_{t}$ 。从图中可以看出A允许将信息不停的再内部循环，这样使得它可以保证每一步的计算都保存以前的信息。

RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这个循环展开：
在这里插入图片描述
长依赖存在的问题

从之前的描述可以看出来，RNNs理论上是可以将以前的信息与当前的任务进行连接，例如使用以前的视频帧来帮助网络理解当前帧。如果RNNs能做到这一点，那将会是非常的有用。但是他们能做到这点吗？答案是不一定。

有时候我们需要利用近期的信息来执行来处理当前的任务。例如，考虑用一个语言模型通过利用以前的文字信息来预测下一个文字。如果我们需要预测“the clouds are in the sky”这句话的最后一个字，我们不需要其他的信息，通过前面的语境就能知道最后一个字应该是sky。在这种情况下，相关信息与需要该信息的位置距离较近，RNNs能够学习利用以前的信息来对当前任务进行相应的操作。如下图所示通过输入的 $X_{1}$ 、 $X_{2}$