博客摘录「 CNN+LSTM+Attention实现时间序列预测」2024年1月11日

CNN模型;第一层是输入层。规定输入数据的格式（批大小，时间步数，特征维度），将批大小默认为１，时间步数记为ｔ，特征维度记为ｎ，则一条样本可表示为一个实数序列矩阵Ｒｔ×ｎ，记ｘｉ 为Ｒｔ×ｎ 中第ｉ个时间步数据的向量表示。第二层是卷积神经网络层（CNN 层）。CNN 层可以提取数据中不同特征值之间的空间联系，进而弥补 ＬＳＴＭ 无法捕获数据空间分量的缺点，同时它提取出的特征仍然具有时序性。样本数据进入ＣＮＮ 层中会依次进行卷积、池化和节点展开（降维）操作。针对序列数据，本模型采取一维卷积，卷积核只按照单一的时域方向进行卷积。

该模型的CNN卷积层（Conv1D）使用3*3的窗口进行卷积，还包含50个过滤器（feature maps），激活函数为ReLU，其输出形状为（30，1），表示30个时间布，每一个时间步有一个特征；最大池化层将输入特征图的空间尺寸减半，有助于减少模型复杂度和防止过拟合；LSTM层使用64个LSTM单元，return _sequences=True表示返回完整的序列输出，以便于后续的注意力机制，其中Dropout层应用20%的随机失活（dropout）以减少过拟合；注意力层（Attention）使用自定义的Attention模块来加权每个时间步的LSTM输出，为了增加基础模型对关键信息的关注，需先使用Flatten层将LSTM输出展平，将其转换为一维特征向量，接着接上一个全连接层（Dense）作为输出层，仅含一个节点，同时应用sigmoid激活函数，适合二分类问题。如果任务是回归，则将可以把激活函数改为线性或是 relu。CNN-LSTM-Attention的模型如图2.4。

图2.4 CNN-LSTM-Attention模型图