急需毕业,论文创新点,小论文,大论文的同学可以直接使用。或者需要缝合模型,设计模型可以催更联系。
1.LSTM
LSTM(Long Short-Term Memory,长短期记忆网络)是一种特殊的递归神经网络(RNN),设计用于解决标准RNN在处理长序列时的梯度消失和梯度爆炸问题。LSTM通过引入记忆单元和门控机制,可以在长时间跨度内保持和更新关键信息,从而在许多序列数据任务中表现出色。
LSTM的结构
LSTM的基本单元包括以下三个主要组件:
-
细胞状态(Cell State):
- 细胞状态是LSTM的核心部分,贯穿整个序列的数据流。它相当于一个直通通道,允许信息以最少的修改通过时间步长传播。细胞状态通过加法和乘法操作来控制信息的传递和遗忘,避免了梯度消失问题。
-
门控机制(Gates): LSTM通过三个门控来调节信息的流动:
- 遗忘门(Forget Gate):决定细胞状态中哪些信息需要被遗忘。它接受前一时间步长的隐藏状态和当前输入,通过一个Sigmoid激活函数输出一个0到1之间的值,控制信息是否被丢弃。
- 输入门(Input Gate):决定当前时间步长的新信息对细胞状态的更新程度。输入门与当前输入和前一隐藏状态结合,通过Sigmoid激活函数输出控制信号。
- 输出门(Output Gate):决定细胞状态中的哪些部分将作为隐藏状态输出,并传递到下一时间步长。输出门通过Sigmoid激活函数,结合当前输入和前一隐藏状态,生成下一步的隐藏状态。
-
隐藏状态(Hidden State):
- 隐藏状态是LSTM输出的主要内容,也是传递到下一个时间步长的信息。它包含了LSTM单元对当前时间步长输入和细胞状态的理解。
2.informer
Informer(Information Aggregation Transformer)是一种用于时间序列预测的深度学习模型,由Haoyi Zhou等人在2021年提出。Informer在经典的Transformer模型基础上进行了优化,特别针对长序列时间序列数据的高效处理进行了改进。以下是Informer算法的关键特点:
1. 稀疏自注意力机制(ProbSparse Attention)
- 背景:经典的Transformer模型在处理长序列时,计算复杂度较高,尤其是自注意力机制(Self-Attention)的计算复杂度为 O(L2)O(L^2)O(L2),其中 LLL 是序列长度。
- 改进:Informer引入了一种称为稀疏自注意力(ProbSparse Attention)的机制。该机制通过选择性地聚焦于少数关键的时间步(即“信息性”最强的时间步),从而显著降低了计算复杂度,将注意力计算的复杂度降至 O(LlogL)O(L \log L)O(LlogL)。
2. 信息聚合机制
- 背景:在时间序列预测任务中,长序列中可能包含大量冗余信息,而这些冗余信息可能会对模型的预测性能产生负面影响。
- 改进:Informer采用了一种信息聚合机制,通过将多个时间步的信息进行聚合,从而更好地捕捉到全局的时间序列模式。这种机制使得Informer在处理长时间序列时,能够更有效地捕捉到序列中的关键特征。
3. 高效的编码器-解码器结构
- 背景:经典Transformer的编码器-解码器结构虽然强大,但在处理时间序列任务时,计算开销较大。
- 改进:Informer对编码器-解码器结构进行了优化,使其在保持高效信息提取能力的同时,能够更好地适应时间序列预测任务。这种结构能够在不显著增加计算开销的情况下,实现对长序列的高效建模。
4. 应用场景
- Informer模型主要用于长序列的时间序列预测任务,如风电、光伏发电的功率预测、负荷预测等场景。在这些场景中,时间序列的长度通常较长,且包含大量非线性关系和周期性模式。
5. 优势
- 高效性:相比传统的Transformer模型,Informer在处理长序列时计算效率更高,适合于资源受限的环境中应用。
- 精确性:通过稀疏自注意力机制和信息聚合机制,Informer能够更准确地捕捉到时间序列中的重要模式,从而提高预测的精度。
Informer算法通过一系列改进,克服了经典Transformer在处理长序列时间序列数据时的计算瓶颈,成为时间序列预测领域的一种强大工具。如果你在研究中需要处理长时间序列数据,Informer可以作为一个有力的模型选择。
3.数据集
类似顶刊ETTH的时间序列格式即可
4.实验结果
这里我按照训练集80%测试集20%进行训练。
图中表明LSTM-informer模型在时间序列预测任务中表现出色,能够准确预测大多数时间点的值,尽管在一些极端波动或拐点处仍有一定的误差。总体而言,该模型是有效的,但可能需要进一步优化以减少在某些极端情况下的误差。
补充
模型还可将LSTM改为TCN,CNN或者其他提取特征的方式,也可以加一些创新的注意力机制等等,也可以改其他主预测模型。模型预测效果优秀。结合其他模型或者其他效果都很不错。