TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）

I. 前言

前面已经写了很多关于时间序列预测的文章：

1. 深入理解PyTorch中LSTM的输入和输出（从input输入到Linear输出）
2. PyTorch搭建LSTM实现时间序列预测（负荷预测）
3. PyTorch中利用LSTMCell搭建多层LSTM实现时间序列预测
4. PyTorch搭建LSTM实现多变量时间序列预测（负荷预测）
5. PyTorch搭建双向LSTM实现时间序列预测（负荷预测）
6. PyTorch搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出
7. PyTorch搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测
8. PyTorch搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测
9. PyTorch搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
10. PyTorch搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq
11. PyTorch中实现LSTM多步长时间序列预测的几种方法总结（负荷预测）
12. PyTorch-LSTM时间序列预测中如何预测真正的未来值
13. PyTorch搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
14. PyTorch搭建ANN实现时间序列预测（风速预测）
15. PyTorch搭建CNN实现时间序列预测（风速预测）
16. PyTorch搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
17. PyTorch搭建Transformer实现多变量多步长时间序列预测（负荷预测）
18. PyTorch时间序列预测系列文章总结（代码使用方法）
19. TensorFlow搭建LSTM实现时间序列预测（负荷预测）
20. TensorFlow搭建LSTM实现多变量时间序列预测（负荷预测）
21. TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）
22. TensorFlow搭建LSTM实现多变量多步长时间序列预测（一）：直接多输出
23. TensorFlow搭建LSTM实现多变量多步长时间序列预测（二）：单步滚动预测
24. TensorFlow搭建LSTM实现多变量多步长时间序列预测（三）：多模型单步预测
25. TensorFlow搭建LSTM实现多变量多步长时间序列预测（四）：多模型滚动预测
26. TensorFlow搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq
27. TensorFlow搭建LSTM实现多变量输入多变量输出时间序列预测（多任务学习）
28. TensorFlow搭建ANN实现时间序列预测（风速预测）
29. TensorFlow搭建CNN实现时间序列预测（风速预测）
30. TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
31. PyG搭建图神经网络实现多变量输入多变量输出时间序列预测
32. PyTorch搭建GNN-LSTM和LSTM-GNN模型实现多变量输入多变量输出时间序列预测
33. PyG Temporal搭建STGCN实现多变量输入多变量输出时间序列预测
34. 时序预测中Attention机制是否真的有效？盘点LSTM/RNN中24种Attention机制+效果对比
35. 详解Transformer在时序预测中的Encoder和Decoder过程：以负荷预测为例
36. (PyTorch)TCN和RNN/LSTM/GRU结合实现时间序列预测
37. PyTorch搭建Informer实现长序列时间序列预测
38. PyTorch搭建Autoformer实现长序列时间序列预测

上面所有文章一共采用了LSTM、ANN以及CNN三种模型来分别进行时间序列预测。众所周知，CNN提取特征的能力非常强，因此现在不少论文将CNN和LSTM结合起来进行时间序列预测。本文将利用TensorFlow来搭建一个简单的CNN-LSTM混合模型实现负荷预测。

II. CNN-LSTM

CNN-LSTM模型搭建如下：

class CNN_LSTM(tf.keras.Model):
    def __init__(self, args):
        super(CNN_LSTM, self).__init__()
        self.args = args
        # (batch_size=b, seq_len=24, input_size=7)
        # (b, 24, 7)-->(b, 22, 64)
        self.conv1 = Sequential()
        self.conv1.add(layers.Conv1D(64, 2, activation='relu'))
        self.conv1.add(layers.MaxPool1D(pool_size=2, strides=1))
        
        # (b, 22, 64)-->(b, 20, 128)
        self.conv2 = Sequential()
        self.conv2.add(layers.Conv1D(128, 2, activation='relu'))
        self.conv2.add(layers.MaxPool1D(pool_size=2, strides=1))
        # (b, 20, 128)
        self.lstm = layers.LSTM(units=args.hidden_size,
                                activation='tanh', return_sequences=True)
        self.fc = layers.Dense(args.output_size)

    def call(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        x = self.lstm(x)
        x = self.fc(x)
        x = x[:, -1, :]

        return x

可以看到，该CNN-LSTM由一层一维卷积+LSTM组成。

通过TensorFlow搭建CNN实现时间序列预测（风速预测）我们知道，
一维卷积的原始定义为：

tf.keras.layers.Conv1D(
    filters, kernel_size, strides=1, padding='valid',
    data_format='channels_last', dilation_rate=1, groups=1,
    activation=None, use_bias=True, kernel_initializer='glorot_uniform',
    bias_initializer='zeros', kernel_regularizer=None,
    bias_regularizer=None, activity_regularizer=None, kernel_constraint=None,
    bias_constraint=None, **kwargs
)

这里filters的概念相当于自然语言处理中的embedding，这里输入通道数为15，表示风速+14个环境变量，输出filters设置为64，卷积核大小为2。

原数数据的维度为24，即前24小时的风速+14种气象数据。卷积核大小为2，根据前文公式，原始时序数据经过卷积后维度为：

24 - 2 + 1 = 23

然后经过一个最大池化变成22，然后又是一个卷积层+池化层，变成20。

这里需要注意的是，PyTorch中要求输入数据的shape为(batch_size, input_size, seq_len)，而TensorFlow中为(batch_size, seq_len, input_size)，也就是说TensorFlow中不需要对原始数据进行维度交换操作。

然后就是比较常规的LSTM输入输出的，不再细说。

III. 代码实现

3.1 数据处理

我们根据前24个时刻的负荷以及该时刻的环境变量来预测接下来12个时刻的负荷，这里采用了直接多输出策略，调整output_size即可调整输出步长。

3.2 模型训练/测试

和前文一致。

3.3 实验结果

简单训练100轮，前24个时刻预测未来12个时刻，MAPE为9.80%：

IV. 源码及数据

后面将陆续公开~