LSTM输入输出理解

LSTM单元计算

在这里插入图片描述
图中虽然有3个LSTM单元,但是实际上只有一LSTM单元A,这里计算过程是假设输入的时间序列是3,则首先输入样本 x 0 x_0 x0,LSTM初始状态 c 0 c_0 c0, h 0 h_0 h0得到LSTM的状态 c 1 c_1 c1 h 1 h_1 h1,此时在同一个LSTM单元输入 x 1 x_1 x1 c 1 c_1 c1 h 1 h_1 h1,得到 c 2 c_2 c2 h 2 h_2 h2,在同一个LSTM单元输入 x 2 x_2 x2 c 2 c_2 c2 h 2 h_2 h2,得到 h 3 h_3 h3 c 2 c_2 c2,此时完成了一次LSTM的forward计算,然后才开始进行反向梯度下降更新参数。
LSTM核心记忆单元是cell state,他存储着经历过的信息。
在这里插入图片描述

遗忘门

通过遗忘门控制是否保留之前的记忆C。
在这里插入图片描述
遗忘门是以上一时刻的LSTM单元输出h和当前时刻的样本输入x拼接成为新的输入变量,经过一层全连接层计算,在激活函数sigmod函数变为值范围[0,1]的数组。

输入门

输入门控制当前时刻的样本输入x是否加入细胞状态记忆c中。
在这里插入图片描述
输入门同样以上一个时刻LSTM神经元的输出h和当前时刻的样本x拼接成新的变量,经过一成全连接层计算和sigmod激活函数,得到[0,1]范围的门控制值。
样本信息,需要经过一层全连接层和tanh函数的处理,得到信息的样本信息。
在这里插入图片描述
该图就是将以前的状态信息和当前新的信息进行相加,得到新的细胞状态记忆,其中用遗忘门和输入门分别控制两部分信息应该保留的多少程度。

输出门

输出门控制LSTM单元是否要输出当前的细胞状态信息c。
在这里插入图片描述
输出门和其他门计算一样,输出的信息需要先经过tanh激活函数后再输出。

完整公式

在这里插入图片描述

多层LSTM网络

在这里插入图片描述
多层LSTM其计算过程以与单层类似,第一层LSTM以输入的样本x和初始化的 h 0 , c 0 h_0,c_0 h0,c0作为输入进行计算,之后的LSTM以上一层LSTM的输出 h h h代替样本x,与上一时刻同层次的LSTM的 h , c h,c h,c输入进行计算。
最终,output存储了每个时刻样本x输入得到的最后一层LSTM的输出h的集合,若输入时序长度为5,隐层神经元数(门计算时全连接层的隐层神经元数)为3,则一个序列计算后,得到的output的大小就是(5,3),与LSTM层数无关。如果是batch_size=10,那么就是(10,5,3)。通常情况下我们只要最后一个时刻的输出值,即output[:,-1,:]的值。
h n h_n hn得到的是最后一个时刻x输入,每层LSTM输出h的集合。假设共有4层LSTM,隐层神经元个数为3,则一个序列计算后,得到的 h n h_n hn大小就是(4,3),与序列大小无关,若batch_size=10,那么就是(10,5,3)。
这里可以看到,output[:,-1,:]与 h n h_n hn[:,-1,:]是相等的,都是最后一个样本的最后一层LSTM的输出。

pytorch的LSTM输入输出

在这里插入图片描述
torch.nn.LSTM(样本的输入维度,隐层神经元个数,LSTM的层数)
input(序列长度,批大小,样本输入维度)pytorch默认第0维是序列大小
输出out(序列长度,批大小,隐层神经元数);
hn大小(LSTM层数,批大小,隐层神经元个数);
cn大小(LSTM层数,批大小,隐层神经元个数);
在这里插入图片描述

### LSTM的输入与输出机制 #### 输入结构 LSTM是一种特殊的循环神经网络(Recurrent Neural Network, RNN),其设计目的是解决传统RNN在处理长时间序列时存在的梯度消失或爆炸问题。LSTM通过引入门控机制来控制信息流,从而能够有效捕捉长期依赖关系。 对于LSTM而言,其输入通常是一个三维张量,形状为 `(样本数, 时间步长, 特征维度)`。具体来说: - **样本数**表示数据集中有多少条独立的时间序列。 - **时间步长**指每一条时间序列包含多少个时间点的数据。 - **特征维度**则代表每个时间点上的特征向量长度[^1]。 例如,在自然语言处理任务中,如果我们将一句话看作是一组单词组成的序列,则这里的“时间步长”就是句子中的词数量,“特征维度”可以是每个词经过嵌入层后的向量大小。 #### 输出形式 LSTM 的输出取决于具体的配置方式以及应用场景: 1. 对于单层 LSTM 来说,它会针对每一个时间步返回隐藏状态 \(h_t\) 和细胞状态 \(c_t\) 。其中隐藏状态作为当前时刻该节点对外界表达的信息载体;而细胞状态内部存储着更深层次的历史记忆信息[^2]。 2. 当构建深层 LSTM 结构 (即堆叠多个 LSTM 层) 时,前一层的所有时间步输出将被送至下一层作为新输入继续传播计算直到最后一层结束为止。 3. 实际应用过程中往往还需要附加额外操作比如加入全连接层(FC),以便最终得到符合需求的目标值——无论是连续型变量还是离散类别标签等不同类型的任务目标都可以通过调整 FC 后面激活函数的形式达成目的。 4. 在某些特定情况下如仅关心整个序列最后一步的状态而非中间过程变化情况的话可以直接取最后一个时间步对应的 h_T 或 c_T 进行后续处理而不是保留全部历史记录下来。 5. 另外值得注意的是当涉及到多维或多模态数据源联合建模的时候可能还会存在更加复杂的组合模式比如说同时考虑视觉图像帧加上音频片段共同作用影响未来趋势走向等问题此时就需要灵活运用不同类型的编码解码器架构配合起来完成相应功能实现[^3]。 ```python import tensorflow as tf model = tf.keras.Sequential([ tf.keras.layers.LSTM(units=64, input_shape=(None, feature_dim), return_sequences=True), tf.keras.layers.Dense(output_size, activation='softmax') ]) ``` 上述代码展示了一个简单的基于 TensorFlow/Keras 构造出来的带有单层 LSTM 单元并设置 `return_sequences` 参数为 True 表明希望获取每一时刻 t 所产生的隐含层状态 ht 给予下一个 Dense Layer 做进一步分类决策使用的例子。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值