用pytorch写一个经常用来测试时序模型的简单常规套路（LSTM多步迭代预测）

前言

就一句话。

不谈感情，只谈代码。

本系列的代码可以当作入门，复习，作为模板修改成自己的，都是可以的。

这个系列会长期更新下去，主要与python，机器学习，数据挖掘，tensorflow，pytorch相关，后期自己准备复习一些java，学习一些go相关也会一起分享。

一来是大家都代码实战的诉求其实是比理论多的多，总会有人在我文章下面问：有代码吗？能给份代码嘛？

说实话，很多代码给不了，也没法给，我不太喜欢这样白嫖，还是希望各位自己去做一些事情，这样才是对自身的要求和提高，也是一个程序员的素养。

二来，也算自己对一些基础的积累和巩固，尽量两天一篇，每天保持对代码的嗅觉。

今天讲的是pytorch框架下，写一个平时常用来测试的小例子，关于时间序列，模型用的最简单的LSTM，多步迭代预测~

前情提要:

【PyTorch修炼】三、先做减法，具体例子带你了解torch使用的基本套路（简单分类和时间序列预测小例子）

【PyTorch修炼】二、带你详细了解并使用Dataset以及DataLoader

【PyTorch修炼】三、先做减法，具体例子带你了解torch使用的基本套路（简单分类和时间序列预测小例子）

1. 导入我们需要用到的包，此教程 包含可视化以及模型训练和测试

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

import torch
import torch.nn as nn

2. 对于demo，尝试模型，我们可以用自己模拟的数据或者公开数据集，这里为了方便，采用自己模拟sin函数，并可视化

x = torch.linspace(0, 999, 1000)
y = torch.sin(x*2*3.1415926/70)

plt.xlim(-5, 1005)
plt.xlabel('x')
plt.ylabel('sin(x)')
plt.title("sin")
plt.plot(y.numpy(), color='#800080')
plt.show()

3. 分训练集和测试集，并且需要对数据进行time windows分割

# len(test):50 
train_y= y[:-70]
test_y = y[-70:]

滑窗创建数据集

def create_data_seq(seq, time_window):
    out = []
    l = len(seq)
    for i in range(l-time_window):
        x_tw = seq[i:i+time_window]
        y_label = seq[i+time_window:i+time_window+1]
        out.append((x_tw, y_label))
    return out
time_window = 60
train_data = create_data_seq(train_y, time_window)

4. 定义lstm模型

https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html#torch.nn.LSTM

https://pytorch.org/docs/stable/generated/torch.nn.Linear.html#torch.nn.Linear

【Deep Learning】通俗大白话详述RNN理论和LSTM理论

【Deep Learning】详细解读LSTM与GRU单元的各个公式和区别

class MyLstm(nn.Module):
    def __init__(self, input_size=1, hidden_size=128, out_size=1):
        super(MyLstm, self).__init__()
        self.hidden_size = hidden_size
        self.lstm = nn.LSTM(input_size=input_size, hidden_size=self.hidden_size, num_layers=1, bidirectional=False)
        self.linear = nn.Linear(in_features=self.hidden_size, out_features=out_size, bias=True)
        self.hidden_state = (torch.zeros(1, 1, self.hidden_size), torch.zeros(1, 1, self.hidden_size))
        
    def forward(self, x):
        out, self.hidden_state = self.lstm(x.view(len(x), 1, -1), self.hidden_state)
        pred = self.linear(out.view(len(x), -1))
        return pred[-1]

5. 训练准备工作

(1) 超参数

(2) 定义loss，优化器，实例化模型

(3) 训练模型，为了更加直观，加入对test_y的预测最终可视化

learning_rate = 0.00001
epoch = 10
multi_step = 70

model = MyLstm()
mse_loss = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate, betas=(0.5,0.999))

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

model.to(device)

for i in range(epoch):
    for x_seq, y_label in train_data:
        x_seq = x_seq.to(device)
        y_label = y_label.to(device)
        model.hidden_state = (torch.zeros(1, 1, model.hidden_size).to(device), 
                              torch.zeros(1, 1, model.hidden_size).to(device))
        pred = model(x_seq)
        loss = mse_loss(y_label, pred)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f"Epoch {i} Loss: {loss.item()}")
    preds = []
    labels = []
    preds = train_y[-time_window:].tolist()
    for j in range(multi_step):
        test_seq = torch.FloatTensor(preds[-time_window:]).to(device)
        with torch.no_grad():
            model.hidden_state = (torch.zeros(1, 1, model.hidden_size).to(device), 
                              torch.zeros(1, 1, model.hidden_size).to(device))
            preds.append(model(test_seq).item())
    loss = mse_loss(torch.tensor(preds[-multi_step:]), torch.tensor(test_y))
    print(f"Performance on test range: {loss}")
    
    plt.figure(figsize=(12,4))
    plt.xlim(700,999)
    plt.grid(True)
    plt.plot(y.numpy(),color='#8000ff')
    plt.plot(range(999-multi_step,999),preds[-multi_step:],color='#ff8000')
    plt.show()

结果

完整代码：https://github.com/chehongshu/AIwoniuche_Learning/blob/master/Pytorch_LSTM_examples/demo-timeseries.ipynb