WTC(2024新小波降噪)+LSTM+改进通道注意力时间序列代码

本文尝试将将常规的CNN-LSTM-注意力进行替换为新的模块，创新性很强。

1.LSTM

LSTM（Long Short-Term Memory，长短期记忆网络）是一种特殊的递归神经网络（RNN），设计用于解决标准RNN在处理长序列时的梯度消失和梯度爆炸问题。LSTM通过引入记忆单元和门控机制，可以在长时间跨度内保持和更新关键信息，从而在许多序列数据任务中表现出色。

LSTM的结构

LSTM的基本单元包括以下三个主要组件：

1. 细胞状态（Cell State）：

   • 细胞状态是LSTM的核心部分，贯穿整个序列的数据流。它相当于一个直通通道，允许信息以最少的修改通过时间步长传播。细胞状态通过加法和乘法操作来控制信息的传递和遗忘，避免了梯度消失问题。

2. 门控机制（Gates）： LSTM通过三个门控来调节信息的流动：

   • 遗忘门（Forget Gate）：决定细胞状态中哪些信息需要被遗忘。它接受前一时间步长的隐藏状态和当前输入，通过一个Sigmoid激活函数输出一个0到1之间的值，控制信息是否被丢弃。
   • 输入门（Input Gate）：决定当前时间步长的新信息对细胞状态的更新程度。输入门与当前输入和前一隐藏状态结合，通过Sigmoid激活函数输出控制信号。
   • 输出门（Output Gate）：决定细胞状态中的哪些部分将作为隐藏状态输出，并传递到下一时间步长。输出门通过Sigmoid激活函数，结合当前输入和前一隐藏状态，生成下一步的隐藏状态。

3. 隐藏状态（Hidden State）：

   • 隐藏状态是LSTM输出的主要内容，也是传递到下一个时间步长的信息。它包含了LSTM单元对当前时间步长输入和细胞状态的理解。

                                  

2.WTC

论文成功地利用小波变换（WT）提出了WTConv层，这是一种新的CNN层，能够在不大幅增加参数的情况下显著增加感受野。WTConv层通过在小波域中进行卷积操作，实现了对输入数据的多频率响应，这使得网络能够更好地捕捉低频信息，从而提高了对形状的敏感性，并增强了网络的鲁棒性。实验结果表明，WTConv层在多个视觉任务中都取得了性能提升，证明了其有效性。

具体论文地址：https://arxiv.org/abs/2407.05848v2

3.FECAM

 提出的频率增强通道注意力机制（FECAM）是一种基于离散余弦变换（DCT）的方法，用于解决时间序列预测中的高频噪声问题。传统的傅里叶变换虽然能够提取数据中的频率信息，但容易因为Gibbs现象引入不必要的高频噪声，导致预测结果的偏差。通过使用DCT，FECAM能够更好地捕捉和建模通道间的频率依赖性，从而提升模型的预测精度和泛化能力。

具体论文地址:https://arxiv.org/abs/2212.01209

4.数据集

数据集都可以，只要是时间序列格式，不限领域，类似功率预测，风电光伏预测，负荷预测，流量预测，浓度预测，机械领域预测等等各种时间序列直接预测。可以做验证模型，对比模型。格式类似顶刊ETTH的时间序列格式即可。

比如这里是时间列+7列影响特征+1列预测特征

5.源码地址及代码讲解（免费）

源码地址：https://space.bilibili.com/51422950?spm_id_from=333.1007.0.0

6.代码功能

代码适合功率预测，风电光伏预测，负荷预测，流量预测，浓度预测，机械领域预测等等各种时间序直接预测。  

1.多变量输入，单变量输出/可改多输出
2.多时间步预测，单时间步预测
3.评价指标：R方  RMSE  MAE  MAPE
对比图
4.数据从excel/csv文件中读取，直接替换即可。
5.结果保存到文本中，可以后续处理。