机器学习方法：LSTM详解

已于 2023-10-15 20:31:08 修改
阅读量3.1k 收藏 27
点赞数 2
分类专栏： 人工智能 文章标签： 机器学习 lstm 人工智能
于 2023-10-15 20:27:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuge3452/article/details/133821167
版权

因为工作中涉及到了部分人工智能技术的问题，特别是时间序列预测的问题，所以本人最近开始学习人工智能。本文是我再学习过程中的一些笔记，内容大部分来自于网络，加上了自己的一些想法和思考，以及一些实例，请各位高手批评指正。

一、前言

首先应该感谢这篇文章将我带入门，这篇文章写图文并茂，是非常不粗错的文章，不过需要一定的神经网络知识基础。：LSTM详解 .

在进入到LSTM的讲解之前，我们先来了解一下，为什么会出现LSTM，它的出现是解决什么问题的。

1.1 Recurrent Neural Networks (RNN)

循环神经网络（Recurrent Neural Networks, RNN） 是一种常用的神经网络结构，它源自于1982年由Saratha Sathasivam提出的霍普菲尔德网络。
RNN背后的想法是利用顺序信息。在传统的神经网络中，我们假设所有输入（和输出）彼此独立。但对于许多任务而言，这是一个非常糟糕的想法。如果你想预测句子中的下一个单词，那你最好知道它前面有哪些单词。RNN被称为"循环"，因为它们对序列的每个元素执行相同的任务，输出取决于先前的计算。考虑RNN的另一种方式是它们有一个“记忆”，它可以捕获到目前为止计算的信息。理论上，RNN可以利用任意长序列中的信息，但实际上它们仅限于回顾几个步骤。
在这里插入图片描述
其中，
（1）Xt是输入层的输入；
（2）St是隐藏层的输出，其中S0是计算第一个隐藏层所需要的，通常初始化为全零；
（3）ht是输出层的输出。
RNN的数学表达式可以表示为：在这里插入图片描述
RNN之所以在时序数据上有着优异的表现是因为RNN在时间片时会将时间片的隐节点作为当前时间片的输入，这样有效的原因是之前时间片的信息也用于计算当前时间片的内容，而传统模型的隐节点的输出只取决于当前时间片的输入特征。

我们以NLP常见的序列标注问题为例，h表示一个状态，也就是我们想要的输出，句子被word embedding之后，顺序进入模型，在参数矩阵A的作用下，其中h_0包含the这个词的信息，h_1包含the 和cat 两个词的信息，最后到h_t之后，就包含所有句子的信息。大家很快就能发现问题：句子很长之后就会出现梯度消失的问题，ht包含第一个字符x_0的信息很少很少。

RNN的缺点：梯度消失/爆炸
梯度消失和梯度爆炸是困扰RNN模型训练的关键原因之一，产生梯度消失和梯度爆炸是由于RNN的权值矩阵循环相乘导致的，相同函数的多次组合会导致极端的非线性行为。梯度消失和梯度爆炸主要存在RNN中，因为RNN中每个时间片使用相同的权值矩阵。对于一个DNN，虽然也涉及多个矩阵的相乘，但是通过精心设计权值的比例可以避免梯度消失和梯度爆炸的问题。
处理梯度爆炸可以采用梯度截断的方法。所谓梯度截断是指将梯度值超过阈值θ的梯度手动降到θ。虽然梯度截断会一定程度上改变梯度的方向，但梯度截断的方向依旧是朝向损失函数减小的方向。
对比梯度爆炸，梯度消失不能简单的通过类似梯度截断的阈值式方法来解决，因为长期依赖的现象也会产生很小的梯度。在上面例子中，我们希望 t9 时刻能够读到 t1 时刻的特征，在这期间内我们自然不希望隐层节点状态发生很大的变化，所以 [t2,t8] 时刻的梯度要尽可能的小才能保证梯度变化小。很明显，如果我们刻意提高小梯度的值将会使模型失去捕捉长期依赖的能力。

**在这个基础上LSTM应运而生，它的论文发表在1997年。**长短期记忆(LSTM)模型可用来解决稳定性和梯度消失的问题。

二、LSTM

在这里先说明一下，LSTM也是RNN的一种，输入基本没什么差别，它是一种特殊的RNNs，可以很好地解决长时依赖问题。

2.1 基本知识

在许多讲LSTM的文章中，都会出现下面这个图。 说实话，这个图确实很清晰明了（对于懂的人来说），一些很“显然”的问题就被忽略了，但是对于刚入门的人来说，一些基础的问题却要搞很久才能弄明白，我在原作者讲的很清楚的情况下再补充新手需要的内容。

在这里先说一下这些符号的含义，每个黄色方框表示一个神经网络层，由权值，偏置以及激活函数组成；每个粉色圆圈表示元素级别操作；箭头表示向量流向；相交的箭头表示向量的拼接；分叉的箭头表示向量的复制。
在这里插入图片描述

**Neuial Network layer：**一层神经网络，也就是w^T x + b的操作。区别在于使用的激活函数不同，σ表示的是sigmoid函数，他是将数据压缩到[0，1]范围内，如下图所示；tanh表示的是双曲正切激活函数，他把数据归一化到[-1，1]之间，具体函数网上可查，不一一贴图；
sigmoid函数
**Pointwise Operation：**这个是两个矩阵按位操作，如果是X号表示，这两个维数相同的矩阵，每个位置相同的元素相乘放到新矩阵的该位置上，如下图所示，加法也是同样。
pointwise操作乘法示意
**Vector Transfer：**矩阵传递

**Concatenate：**矩阵连接，两个矩阵不做任何计算，只是连接在一起，比如原来A10维，B5维，连接之后15维，就像贪食蛇一样。

**Copy：**一个矩阵变成两个一模一样的；

了解了这些基本操作，大概知道基础的运行原理，我们接下来一个个解析他的四个门结构，首先看大体结构。

2.2 LSTM结构

相比于原始的RNN的隐层(hidden state)， LSTM增加了一个细胞状态Ct(cell state)，下图是lstm中间一个时刻t的输入输出。
LSTM单个结构
我们首先看一下LSTM在t时刻的输入与输出，首先，输入有三个： 细胞状态C_{t-1}（黄色圆圈），隐层状态h_{t-1}（紫色圆圈）， t时刻输入向量X_t​（蓝色圆圈），而输出有两个：细胞状态 C_t​, 隐层状态 h_t​。其中

1、细胞状态 C_{t-1}的信息，一直在上面那条线上传递， t时刻的隐层状态 ht​与输入xt​会对Ct​进行适当修改，然后传到下一时刻去。
3、C_{t-1}会参与 t时刻输出 h_t​的计算。
3、隐层状态 h_{t-1}的信息，通过LSTM的“门”结构，对细胞状态进行修改，并且参与输出的计算。
总的来说呢，细胞状态的信息一直在上面那条线上传递，隐层状态一直在下面那条线上传递，不过它们会有一些交互，在LSTM中，通常被叫做“门”结构。由此可以看到h_t不光光是由上一个状态，和本次的输入所决定，还有一个细胞状态C_{t-1}，这是其与RNN最大的不用

LSTM也是RNN的一种，输入基本没什么差别。通常我们需要一个时序的结构喂给LSTM，数据会被分成 t个部分，也就是上面图里面的 X_t​，X_t​可以看作是一个向量 ，在实际训练的时候，我们会用batch来训练，所以通常它的shape是**(batch_size, input_dim)**。当然我们来看这个结构的时候可以认为batch_size是1，理解和计算之类的也比较简单。

另外C_0​与 h_0​的值，也就是两个隐层的初始值，一般是用全0初始化。两个隐层的同样是向量的形式，在定义LSTM的时候，会定义隐层大小（hidden size），即Shape(C_t) = Shape(h_t) = HiddenSize。输出的维度与对应输入是一致的。

2.3 LSTM的传送带

LSTM的核心部分是在图4中最上边类似于传送带的部分，这一部分一般叫做单元状态（cell state）它自始至终存在于LSTM的整个链式系统中。
在这里插入图片描述
其中：
在这里插入图片描述
其中 f_t叫做遗忘门，表示C_t-1的哪些特征被用于计算C_t。 f_t是一个向量，向量的每个元素均位于 [0,1]范围内。通常我们使用sigmoid作为激活函数，sigmoid的输出是一个介于[0,1]区间内的值，但是当你观察一个训练好的LSTM时，你会发现门的值绝大多数都非常接近0或者1，其余的值少之又少。其中 在这里插入图片描述
是LSTM最重要的门机制，表示f_t和C_t-1之间的单位乘的关系。

2.4 LSTM的门结构( 一共有3个)

存储单元中管理向单元移除或添加的结构叫门限，有三种：遗忘门、输入门、输出门，门限由Sigmoid激活函数和逐点乘法运算组成。前一个时间步长的隐藏状态被送到遗忘门、输入门和输出门。在前向计算过程中，输入门学习何时激活让当前输入传入存储单元，而输出门学习何时激活让当前隐藏层状态传出存储单元。
2.4.1 遗忘门 Forget Gate
遗忘门及其公式
首先说一下[ht−1​,xt​]这个东西就代表把两个向量连接起来（操作与numpy.concatenate相同）。然后f_t​就是一个网络的输出，看起来还是很简单的，执行的是上图中的公式。 具体的操作如下图所示：
单个神经网络的操作-以遗忘门为例
这个图没有体现出来+b这个操作，下同

然而它为什么叫遗忘门呢，下面是我自己的看法，前面也说了,σ的输出在0到1之间，这个输出 f_t逐位与C_{t-1}的元素相乘，我们可以发现，当f_t的某一位的值为0的时候，这C_{t-1}对应那一位的信息就被干掉了，而值为(0, 1)，对应位的信息就保留了一部分，只有值为1的时候，对应的信息才会完整的保留。因此，这个操作被称之为遗忘门，也算是“实至名归”，这样放到传送带上的内容是经过遗忘的，传送带我们后边会用到。

2.4.2 更新门 Input Gate
这个门有两个部分，一个是~C_t​(因为我没有会员，当时写MD笔记不能插图，所以没有用Markdown来写，符合只能放在前面了，大家凑合着看吧)，这个可以看作是新的输入带来的信息，tanh这个激活函数将内容归一化到-1到1。另一个是 i_t，这个东西看起来和遗忘门的结构是一样的，这里可以看作是新的信息保留哪些部分。
更新门操作及其公式
下面的操作就是对C_t进行更新，这个公式表示什么呢？看左边，就是前面遗忘门给出的f_t​，这个值乘C_{t-1}，表示过去的信息有选择的遗忘（保留）。右边也是同理，新的信息~{C_t}乘i_t表示新的信息有选择的遗忘（保留），最后再把这两部分信息加起来，就是新的状态C_t了。
更新门的第二个操作，更新C传送带
具体的操作示意图如下：
更新传送带示意
2.4.3 输出门层 Output Gate

最后就是lstm的输出了，此时细胞状态C_t已经被更新了，这里的o_t​还是用了一个sigmoid函数，表示输出哪些内容，而C_t​通过tanh缩放后与o_t​相乘，这就是这一个timestep的输出了。
在这里插入图片描述
看完公式之后，我们再来看图解，o_t比较简单，同forget门一样
在这里插入图片描述

参数

上面说了lstm的原理与公式，这里想再讲一下参数是怎么计算的。简单来说，就是上面公式的W和b包含的参数数量(上面一共有四个)。 W的话，就是输入维度乘输出维度， b的参数量就是加上输出维度。 上面的公式中，W有四个:W_f,W_i,W_c,W_o​，同样，b也是四个: b_f, b_i, b_c, b_o​。 我们假设输入x_t​这个向量的维度是512，lstm的隐层数是 256，根据这个来实际计算一下参数量。 首先是输入 [h_{t-1}, x_t]，这个前面说过，是两个向量连接起来，因此维度相加： 256 + 512 = 768。 因为隐层是 256，所以输出就是256维。 W的参数量就是 768×256=196608,b的参数是256。 所以最终的参数量就是：(768×256+256)×4=787456

另外，pytorch中的lstm实现稍有不同，其公式如下：
在这里插入图片描述
上面的 g_t其实就是~C_t​​，其他符号基本是一致的。可以看到，pytorch中，x_t与h_{t-1}并没有拼接在一起，而是各自做了对应的运算，这其实就是使用了分块矩阵的技巧进行计算，结果理论上是一样的，不过这里有些不同的就是加了两个bias，因此计算偏置的参数需要乘2。

2.5 LSTM如何解决RNN的梯度小时问题

LSTM可以抽象成这样：

三个圆圈内为乘号的符号分别代表的就是forget gate，input gate，output gate，而我认为LSTM最关键的就是forget gate这个部件。这三个gate是如何控制流入流出的呢？其实就是通过下面f_t，i_t，o_t三个函数来控制，因为（代表sigmoid函数）的值是介于0到1之间的，刚好用趋近于0时表示流入不能通过gate，趋近于1时表示流入可以通过gate。
在这里插入图片描述
在这里插入图片描述
这样就解决了传统RNN中梯度消失的问题。

三、应用示例

3.1 RNN应用场景
a. 语言建模
语言建模(Language Modeling)，通常指实现预测下一个单词的任务。例如下图，输入了"the students opened their"这个未完成的句子，预测下个单词最有可能的是哪一个？
b. 语言建模的应用
日常生活中天天会用到这个模型。例如在手机输入法中：
在这里插入图片描述
c. n-gram语言模型
问：怎样学习一个语言模型？
答：（深度学习前）：使用n-gram语言模型
定义：n-gram是由n个连续单词组成的块。
unigrams: “the”, “students”, “opened”, ”their”
bigrams: “the students”, “students opened”, “opened their”
trigrams: “the students opened”, “students opened their”
**4-**grams: “the students opened their”

思想：收集关于不同n-grams频率的统计信息，用这些来预测下一个单词。

d. RNN语言模型源代码
参考： rnn-tutorial-rnnlm

其中有：RNNLM.ipynb 可以演示具体的运行过程。

3.1 LTSM应用场景
a. 文本情感分析
喜怒哀乐、批评、赞扬、中性，这就是情感。每一句话基本都可以和这情感词对应上。

基于之前的卷积神经网络的学习及分类/分割实例，如果要搭建一个实例模型，一般需要如下几个步骤：
数据素材准备、数据准备和处理，模型搭建，选择损失函数，选择优化方法，训练，评估。下面具体一步步展开。
目标：
有一批某评论数据，可以分为两类：正面评价与负面评价。需要训练一个情感分析模型，对评论文本进行分类。
详见：https://zhuanlan.zhihu.com/p/637258182

客家人程序猿
关注
  • 2
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Matlab实现LSTM和BiLSTM时间序列预测对比（完整程序和数据）
09-06
Matlab实现LSTM和BiLSTM时间序列预测对比（完整程序和数据） 1.输入输出单个变量； 2.考虑历史特征的影响，时间序列预测； 4.数据方便替换； 5.运行环境Matlab2018b及以上； 6.输出误差对比图。 --------------------------------------------------------------------------------------------------------------- Matlab实现LSTM和BiLSTM时间序列预测对比（完整程序和数据） 1.输入输出单个变量； 2.考虑历史特征的影响，时间序列预测； 4.数据方便替换； 5.运行环境Matlab2018b及以上； 6.输出误差对比图。
基于pytorch的lstm参数使用详解
09-18
今天小编就为大家分享一篇基于pytorch的lstm参数使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
tensorflow-lstm-回归：使用具有TensorFlow的递归神经网络（LSTM）进行序列预测
02-06
张量流-lstm回归 这是基于循环网络的回归器的示例： 目的是根据以前使用LSTM架构的观察结果，在本示例中预测连续值，sin和cos函数。 本示例已更新为与tensrflow-1.1.0兼容的新版本。 这个新版本使用了一个库 ，该库提供了一个API，可基于张量流创建深度学习模型和实验。 安装并运行 创建一个虚拟环境 建议您为安装程序创建一个virtualenv，因为此示例高度依赖于需求文件中设置的版本。 使用python3 $ mkvirtualenv -p python3 ltsm (ltsm) $ 使用python2 $ mkvirtualenv ltsm (ltsm) $ 安
使用鲸鱼优化算法对LSTM的隐含层神经网络，学习率，训练次数三个参数进行寻优
VstgPXZU的博客
11-30 232
此外，WOA-LSTM模型的输入数据是包含多维数据的多列数据输入，输出数据是单列数据输出，也具有很好的适用性。使用鲸鱼优化算法对LSTM的隐含层神经网络，学习率，训练次数三个参数进行寻优，WOA-LSTM模型的输入数据的自变量是多维即多列数据输入，输出的因变量单维即单列数据输出，代码内部有详细的注释，可学习性强，并且替换数据以后直接就可以用。该模型的代码实现中，除了包含基本的LSTM神经网络的代码结构和基本的优化算法实现，还有非常详细的注释，易于理解和学习。1.定义LSTM神经网络模型，并设置初始值。
深度学习基础（六）：LSTM模型及原理介绍 深度学习原理.pdf
04-13
深度学习基础（六）：LSTM模型及原理介绍 深度学习原理.pdf
【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）
程序星空实验室
05-26 3万+
1、LSTM的背景介绍 长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 2、RNN的不足 图...
LSTM介绍
qq_37919953的博客
09-17 2万+
LSTM前言一、RNN1.时间序列问题描述2.DNN（深度神经网络）介绍2.1感知器2.2多层感知器2.3深度神经网络2.4时间序列问题的一个关键3.RNN（循环神经网络）介绍3.1SimpleRNN3.2RNN的一些结构及其他用处二、LSTM1.LSTM的结构及用处2.LSTM结构详解3.LSTM的记忆方式总结 前言 本文主要从DNN开始讲解时间序列问题，以及循环神经网络及其变体LSTM的原理。 一、RNN 1.时间序列问题描述 时间序列数据是以一定有规律的时间间隔，从而在每个时间段产生一系列相应数
LSTM（长短时记忆网络）
Michale_L的博客
02-04 2万+
什么是LSTM? LSTM是RNN的一种，可以解决RNN短时记忆的不足，当一条序列足够长，那RNN将很难将信息从较早的时间步传送到后面的时间步，而LSTM能学习长期依赖的信息，记住较早时间步的信息，因此可以做到联系上下文。 比如： 1. RNN可以根据前面几个单词有效预测出空白出单词为sky。 2. ...
LSTM这一篇就够了
热门推荐
yingqubaifumei的博客
09-16 9万+
转自AI大本营https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82922386 ▌短时记忆 NN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。 在反向传播期间，RNN 会面临梯度消失的问题。 梯...
LSTM 简介
steven_ysh的博客
12-16 4万+
LSTM ​长短期记忆网络 LSTM（long short-term memory）是 RNN 的一种变体，其核心概念在于细胞状态以及“门”结构。细胞状态相当于信息传输的路径，让信息能在序列连中传递下去。你可以将其看作网络的“记忆”。理论上讲，细胞状态能够将序列处理过程中的相关信息一直传递下去。因此，即使是较早时间步长的信息也能携带到较后时间步长的细胞中来，这克服了短时记忆的影响。信息的添加和移除我们通过“门”结构来实现，“门”结构在训练过程中会去学习该保存或遗忘哪些信息。 遗忘门：决定应丢弃或保留哪些
LSTM神经网络介绍
weixin_42973814的博客
05-07 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录引言一、介绍1.1什么是LSTM?1.2基础知识1.2.1门控机制1.2.2 相关激活函数1.2.3网络参数介绍二、LSTM网络架构2.1架构图三、LSTM的门3.1遗忘门3.2输入门3.3输出门四、LSTM的简单实例参考 引言 传统的神经网络在处理与事件发生的时间轴有关系的问题时，如果需要联系并考虑上下文的时候就无能为力了，比如语音识别，机器翻译，时间序列等，因为他们的输出只是由当前的输入决定。所以就提出了RNN，了解RNN基.
LSTM
02-14
LSTM
基于正交参数优化的LSTM结构变形预测模型
05-06
随着社会经济的蓬勃发展，地铁、隧道、桥梁等大型建筑的需求也越来越大.通过对结构变形数据的分析与预测，可以判断结构未来的发展趋势，对安全隐患提前预警和采取应急措施，预防灾害的发生.由于变形监测数据通常具有不稳定性和非线性的特点，使得监测数据预测成为结构监测研究中的一个难题.针对结构变形预测模型存在的问题，本文提出了一种基于正交参数优化的长短时记忆网络（LSTM）结构变形预测模型.该模型通过LSTM网络结构获得时间序列的长期记忆，充分挖掘变形数据的内部时间特征；并通过正交试验对LSTM模型的参数进行优化；最后通过实测数据对模型进行验证，实验结果表明，模型预测值与实际监测值吻合较好.通过与WNN、DBN-SVR和GRU模型相比，平均RMSE、MAE和MAPE分别降低了56.01%、52.94%和52.78%，本文提出的基于正交参数优化的LSTM结构变形预测模型是一种有效的结构沉降方法，为结构安全施工以及运营的安全提供可靠信息，对确保结构安全具有重要意义.
vs265_lstm:LSTM 实现
06-24
lstm LSTM 实现去做： 对训练示例中的代码进行矢量化。 清理矩阵维度的废话（例如 8x2x1 矩阵）。 清理 weights_array 废话演示应用程序（源代码/手势） 用于收集 IMU 数据并指向客户端运行的 IP 地址和端口的电话...
基于机器学习的遥感图像识别算法(kNN:SVM:CNN:LSTM)内含数据集和预训练模型.zip
03-28
本资源是图像识别内含源码和环境搭建教程，模型识别准确率高，可以直接运行，创作不易欢迎交流学习
ai-机器学习算法实现之LSTM.zip
最新发布
04-25
ai ai_机器学习算法实现之LSTM
mltest：机器学习实践。 LSTM
02-15
mltest：机器学习实践。 LSTM
机器学习之模糊聚类（Fuzzy Clustering）附代码
JustinMars的博客
04-24 484
FCM将数据点与聚类中心之间的距离作为样本与聚类的隶属度的衡量标准，通过迭代优化聚类中心和样本的隶属度来最小化目标函数（通常是样本与其所属聚类中心之间的加权平方误差）。根据隶属度值，可以将每个数据点分配给最高隶属度的群体，或者将每个数据点分配给多个群体，并根据其隶属度值进行权重。对于每个数据点，初始化其隶属度到每个群体的随机值，确保每个数据点对于每个群体的隶属度之和为1。模糊聚类过程与传统的硬聚类类似，但在每个数据点与每个群体的隶属度方面有所不同，这使得模糊聚类更适用于一些数据不是严格分离的情况。
实战二十五:lstm
01-26
LSTM（Long Short Term Memory）是一种用于处理序列数据的循环神经网络（RNN）模型。与传统的RNN相比，LSTM在处理长序列数据时能够更好地捕捉长期的依赖关系。 LSTM的核心是细胞状态（cell state），负责存储和传递信息。细胞状态可以被看作一个传送带，能够在整个序列中传递信息，而不受梯度消失或梯度爆炸的影响。LSTM通过门控单元（gate）结构来控制细胞状态的输入、输出和遗忘。 LSTM的门控单元包括输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。输入门决定了哪些信息将被输入到细胞状态中，遗忘门决定了哪些信息将被从细胞状态中遗忘，输出门决定了哪些信息将被输出到下一步或最终输出。 在训练过程中，LSTM会通过反向传播算法来调整参数，使得模型能够适应给定的序列数据。LSTM模型的训练速度较慢，因为在时间步骤上需要进行反向传播，而且需要存储和计算更多的参数。 LSTM在实际应用中有广泛的应用，例如自然语言处理、语音识别、机器翻译等领域。它的主要优点是能够处理长时间的序列依赖关系，并且可以很好地捕捉关键信息。然而，LSTM也有一些缺点，例如模型复杂度高、训练速度慢等。 总之，LSTM是一种有效的模型，特别适用于处理序列数据，并且在实际应用中取得了很好的效果。随着深度学习的发展，LSTM的变种和改进也在不断涌现，使得序列数据的处理更加精确和高效。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值