为了小论文之跟着李沐学AI(十六)

RNN初探

以马尔克夫假设为理论的，用多层感知机实现时序模型

!pip install d2l
%matplotlib inline

import torch
from torch import nn
import collections
import re
from d2l import torch as d2l

T = 1000  # 总共产生1000个点
time = torch.arange(1, T + 1, dtype=d2l.float32)	#总共有1000个时间点
x = torch.sin(0.01 * time) + torch.normal(0, 0.2, (T,)) #1000个时间点对应的sin值
d2l.plot(time, [x], 'time', 'x', xlim=[1, 1000], figsize=(6, 3))

tau = 4 #表示我这是要用4个点去预测下一个点，这其实就是一个超参数

features = torch.zeros((T - tau,tau)) #一个特征应该有T-tau个样本，每一个样本有tau个特征，相当于把前面的tau个点当特征了,feature是一个 996 * 4 的矩阵tensor，x是一个 标量

# 现在开始复制
for i in range(tau):
  features[:,i] = x[i: T - tau + i]#注意这里是按列复制的，对于第一列复制0-996，第二列复制1-997

labels = x[tau:].reshape((-1,1))	#定义标号


batch_size, n_train = 16, 600

train_iter = d2l.load_array((features[:n_train], labels[:n_train]),
                            batch_size, is_train=True)
 
# 初始化网络权重的函数
def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.xavier_uniform_(m.weight)

# 一个简单的多层感知机
def get_net():
    net = nn.Sequential(nn.Linear(4, 10),
                        nn.ReLU(),
                        nn.Linear(10, 1))
    net.apply(init_weights)
    return net

# 平方损失
loss = nn.MSELoss()

非常淡的简单，但是对于我们用几个点去预测一个点或者预测几个点，可以进行调参，其实是这个方法就不是特别好嘛，这本质上就是一个线性层，他是无法看到很远的未来的。