LSTM+informer

成为深度学习高手

于 2024-09-02 22:30:45 发布

阅读量618

点赞数 12

文章标签： lstm 人工智能 rnn

本文链接：https://blog.csdn.net/lxh1244607107/article/details/141784138

版权

急需毕业，论文创新点，小论文，大论文的同学可以直接使用。或者需要缝合模型，设计模型可以催更联系。

1.LSTM

LSTM（Long Short-Term Memory，长短期记忆网络）是一种特殊的递归神经网络（RNN），设计用于解决标准RNN在处理长序列时的梯度消失和梯度爆炸问题。LSTM通过引入记忆单元和门控机制，可以在长时间跨度内保持和更新关键信息，从而在许多序列数据任务中表现出色。

LSTM的结构

LSTM的基本单元包括以下三个主要组件：

细胞状态（Cell State）：
- 细胞状态是LSTM的核心部分，贯穿整个序列的数据流。它相当于一个直通通道，允许信息以最少的修改通过时间步长传播。细胞状态通过加法和乘法操作来控制信息的传递和遗忘，避免了梯度消失问题。
门控机制（Gates）： LSTM通过三个门控来调节信息的流动：
- 遗忘门（Forget Gate）：决定细胞状态中哪些信息需要被遗忘。它接受前一时间步长的隐藏状态和当前输入，通过一个Sigmoid激活函数输出一个0到1之间的值，控制信息是否被丢弃。
- 输入门（Input Gate）：决定当前时间步长的新信息对细胞状态的更新程度。输入门与当前输入和前一隐藏状态结合，通过Sigmoid激活函数输出控制信号。
- 输出门（Output Gate）：决定细胞状态中的哪些部分将作为隐藏状态输出，并传递到下一时间步长。输出门通过Sigmoid激活函数，结合当前输入和前一隐藏状态，生成下一步的隐藏状态。
隐藏状态（Hidden State）：
- 隐藏状态是LSTM输出的主要内容，也是传递到下一个时间步长的信息。它包含了LSTM单元对当前时间步长输入和细胞状态的理解。

2.informer

Informer（Information Aggregation Transformer）是一种用于时间序列预测的深度学习模型，由Haoyi Zhou等人在2021年提出。Informer在经典的Transformer模型基础上进行了优化，特别针对长序列时间序列数据的高效处理进行了改进。以下是Informer算法的关键特点：

1. 稀疏自注意力机制（ProbSparse Attention）

背景：经典的Transformer模型在处理长序列时，计算复杂度较高，尤其是自注意力机制（Self-Attention）的计算复杂度为 O(L2)O(L^2)O(L2)，其中 LLL 是序列长度。
改进：Informer引入了一种称为稀疏自注意力（ProbSparse Attention）的机制。该机制通过选择性地聚焦于少数关键的时间步（即“信息性”最强的时间步），从而显著降低了计算复杂度，将注意力计算的复杂度降至 O(Llog⁡L)O(L \log L)O(LlogL)。

2. 信息聚合机制

背景：在时间序列预测任务中，长序列中可能包含大量冗余信息，而这些冗余信息可能会对模型的预测性能产生负面影响。
改进：Informer采用了一种信息聚合机制，通过将多个时间步的信息进行聚合，从而更好地捕捉到全局的时间序列模式。这种机制使得Informer在处理长时间序列时，能够更有效地捕捉到序列中的关键特征。