Pytorch实现transformer并对时间序列预测

最新推荐文章于 2024-08-05 22:30:52 发布

酷酷的橙007

最新推荐文章于 2024-08-05 22:30:52 发布

阅读量5.1k

点赞数 3

分类专栏： pytorch 文章标签：深度学习 transformer

本文链接：https://blog.csdn.net/xiecheng1995/article/details/118557727

版权

本文档介绍了如何使用Pytorch框架实现Transformer模型，应用于时间序列预测，具体为通过输入sine函数数据来预测cos函数数据。教程分为网络结构、训练和测试三个部分，并提供了参考链接及源码托管地址。

摘要由CSDN通过智能技术生成

利用Pytorch框架实现用transformer通过输入sine预测cos，代码如下：

1. 网络结构

import math
import torch
from torch import nn


class PositionalEncoding(nn.Module):
    def __init__(self, d_model, dropout=0.1, max_len=5000):
        super(PositionalEncoding, self).__init__()
        self.dropout = nn.Dropout(p=dropout)

        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)

        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))

        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)

        pe = pe.unsqueeze(0).transpose(0, 1)

        self.register_buffer('pe', pe)

    def forward(self, x):
        x = x + self.pe[:x.size(1), :].squeeze(1)
        return self.dropout(x)


class TransformerTS(nn.Module):
    def __init__(self,
                 input_dim,
                 dec_seq_len,
                 out_seq_len,
                 d_model=512,
                 nhead=8,
                 num_encoder_layers=6,
                 num_decoder_layers=6,
                 dim_feedforward=