neuralforecast-itransformer_pytorch时序预测算法模型

最新推荐文章于 2024-08-21 10:54:28 发布

技术瘾君子1573

最新推荐文章于 2024-08-21 10:54:28 发布

阅读量726

点赞数 21

分类专栏：人工智能&深度学习&机器学习文章标签： pytorch 算法人工智能时序预测训练推理

本文链接：https://blog.csdn.net/qq_27815483/article/details/139771911

版权

人工智能&深度学习&机器学习专栏收录该内容

140 篇文章 1 订阅

订阅专栏

iTransformer

iTransformer可以跨多个时间步查看一个特征，能高效利用长程时序特征，本步骤适于时序预测库neuralforecast中的iTransformer算法，其它算法的使用依此类推。

论文

iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

https://arxiv.org/pdf/2310.06625

模型结构

采用标准的transformer decoder结构，对于backbone，无需修改transformer标准结构的代码即可实现本算法。

算法原理

iTransformer通过简单地转置输入的形状来实现跨多个时间步查看一个特征，模型不是对输入的子序列进行令牌化，而是对整个输入序列进行令牌化，通过这种方式，注意力层可以专注于学习多元相关性，而前馈网络则负责对整个输入序列进行编码。

环境配置

mv neuralforecast-itransformer_pytorch neuralforecast # 去框架名后缀

Docker（方法一）

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk23.10-py38
# <your IMAGE ID>为以上拉取的docker的镜像ID替换，本镜像为：ffa1f63239fc
docker run -it --shm-size=32G -v $PWD/neuralforecast:/home/neuralforecast -v /opt/hyhal:/opt/hyhal:ro --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name neuralforecast <your IMAGE ID> bash
cd /home/neuralforecast
pip install -r requirements.txt # requirements.txt

Dockerfile（方法二）

cd neuralforecast/docker
docker build --no-cache -t neuralforecast:latest .
docker run --shm-size=32G --name neuralforecast -v /opt/hyhal:/opt/hyhal:ro --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video -v $PWD/../../neuralforecast:/home/neuralforecast -it neuralforecast bash
# 若遇到Dockerfile启动的方式安装环境需要长时间等待，可注释掉里面的pip安装，启动容器后再安装python库：pip install -r requirements.txt。

Anaconda（方法三）

1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装：

https://developer.hpccube.com/tool/

DTK驱动:dtk23.10
python:python3.8
torch:2.1.0
torchvision:0.16.0

Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应。

2、其它非特殊库参照requirements.txt安装

pip install -r requirements.txt # requirements.txt

数据集

本步骤说明采用LongHorizon中的ETTm2

https://nhits-experiments.s3.amazonaws.com/datasets.zip

mini数据集为ETT-small.zip，解压即可使用，数据目录结构如下：

ETT-small/longhorizon/datasets/ETTm2
    ├── df_x.csv
    ├── df_y.csv
    ├── M
    ├── ├── df_x.csv
    ├── └── df_y.csv
    └── S
    ├── ├── df_x.csv
    ├── └── df_y.csv

训练

单机单卡

export HIP_VISIBLE_DEVICES=0
cd neuralforecast
python trainval.py # 该库中的iTransformer目前仅支持单指标预测的训练与推理，多指标预测敬请等待作者开源。

更多资料可参考源项目的README_origin

推理

export HIP_VISIBLE_DEVICES=0
python infer.py
# 默认按天预测, 故pred_len为96。

result

输入：

ds,unique_id,y
2016-07-01 00:00:00,OT,1.0180321560148238
2016-07-01 00:15:00,OT,0.9801244795019736
2016-07-01 00:30:00,OT,0.9042228236873991
2016-07-01 00:45:00,OT,0.8852256693365586
                   ...
2018-02-20 23:00:00,OT,-1.5813253301696957
2018-02-20 23:15:00,OT,-1.5813253301696957
2018-02-20 23:30:00,OT,-1.5623282581688442
2018-02-20 23:45:00,OT,-1.5623282581688442

输出：

      unique_id     ds               iTransformer
0         OT 2018-02-21 00:00:00     -1.567348
1         OT 2018-02-21 00:15:00     -1.577499
2         OT 2018-02-21 00:30:00     -1.579781
3         OT 2018-02-21 00:45:00     -1.587281
4         OT 2018-02-21 01:00:00     -1.578477
                  ...
92        OT 2018-02-21 23:00:00     -1.569653
93        OT 2018-02-21 23:15:00     -1.546048
94        OT 2018-02-21 23:30:00     -1.561576
95        OT 2018-02-21 23:45:00     -1.542416