从annotated-transformer代码出发，做单变量时间序列预测的几个小注意点

于 2023-06-09 17:54:07 发布
阅读量145 收藏 1
点赞数 1
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38164618/article/details/131132386
版权
  1. 因为时间序列本身就是数值，不需要做nn.embedding或者说是one-hot编码，所有vocab_size都是1
  2. 时间序列是回归问题，经过decoder的最后输出只需要一个线性层，不需要softmax【NLP中，需要softmax是因为最后模型输出是单词，需要通过概率在词表中找出对应的单词】
  3. 时间序列预测任务的损失函数直接用MESLoss即可，不需要NLP中的label smoothing后KLDivLoss计算两个概率分布的相似度
  4. 时间序列的Embed，用conv1d做
  5. 还有一个地方我觉得有点问题，viz_decoder_src方法里面，example[2], example[1]的顺序才能得到行代表tgt,列代表src
  6. dataloader部分，可以参考informer的数据集生成代码

花了2个星期从0开始看代码改代码，才疏学浅

你笑起来真好看耶
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实战二十二：pytorch transformer 时间序列预测 多变量输入 单变量输出 完整代码数据 可直接运行
07-01 1201
实战二十二：pytorch transformer 时间序列预测 多变量输入 单变量输出 完整代码数据 可直接运行
transformer的北京天气时间序列预测实战多变量输入-单变量输出
最新发布
05-21 1946
transformer的北京天气时间序列预测实战多变量输入-单变量输出
从DTW到DILATE---时序预测损失函数总结
selectnothing的博客
02-24 1866
时间序列预测损失函数
基于Transformer时间序列预测模型
黑科技小土豆的博客
03-30 2796
基于Transformer时间序列预测模型
annotated-lua-source:lua原始代码注释项目
03-24
本文将深入探讨“annotated-lua-source”项目，这是一份针对lua 5.3.1版本的源代码进行详细注解的资源，对于学习和理解Lua的内部工作机制具有极大的帮助。 一、项目概述 “annotated-lua-source”项目旨在为lua ...
序列标注sample-text-seq-annotated-iob.zip
03-17
示例内容如下所示： 冯 海 韬 1 5 0 1 0 6 7 7 7 0 5 贵 州 省 黔 东 南 苗 族 侗 族 自 治 州 天 柱 县 凤 城 街 道 蚂 蟥 龙 建 龙 路 9 - 1 1 号 P-B P-I P-I T-B T-I T-I T-I T-I T-I T-I T-I T-I T-I T-I A1...
redis-3.0-annotated-cmake-in-clion
05-26
最新版CLion已支持Makefile...git clone git@github.com:huangz1990/redis-3.0-annotated.git 2. deps/hiredis目录下新增CMakeLists.txt add_library(hiredis STATIC hiredis.c net.c dict.c net.c sds.c async.c
piston-annotated-demo
07-10
【标题】"piston-annotated-demo"是一个基于Rust编程语言的小型游戏示例，其特点是包含了详尽的注释，便于初学者理解和学习Rust语言以及Piston游戏库的使用。 【描述】该资源的主要目的是为Rust新手提供一个易上手...
annotated-image-rover
03-27
"annotated-image-rover"是一个项目，主要涉及HTML技术，用于创建带注释的图像漫游体验。在网页设计和开发中，注释图像是一种增强用户互动和理解内容的有效方式。这种漫游器可能允许用户在图像上点击或滚动以揭示...
注意力机制
qq_45612705的博客
12-18 270
本周阅读了文献《An Experimental Review on Deep Learning Architectures》主要讲述了在解决时间序列预测问题时常用到的几种深度学习的模型，并进行分析表明长短时记忆和卷积神经网络在处理TSF问题上是最佳选择。然后学习了注意力机制，为什么要有注意力机制以及怎么求权重系数以及常见的评分方法。近年来，深度学习技术在许多机器学习任务中优于传统模型。深度神经网络已经成功地应用于解决时间序列预测问题，因为它们有能力自动学习时间序列中存在的时间依赖性。
14种可用于时间序列预测的损失函数
allein_STR的博客
01-15 2436
当误差被平方时，离群值被赋予更多的权重，为较小的误差创建一个平滑的梯度。鉴于错误是平方的，MSE 永远不会是负数，错误的值可以是 0 到无穷大之间的任何值。当您的预测被证明是错误的时，会出现增强的 RRMSE，并且该错误由 RRMSE 相对或以百分比表示。MSLE 将粗略地处理小的实际值和预期值之间的微小差异以及大的真实值和预测值之间的巨大差异。用于时间序列预测的机器学习或深度学习模型的一个重要组成部分是损失函数，模型的性能是根据损失函数来衡量的，促使了模型参数的更新。偏差的唯一可能方向是正向或负向。
编写代码，使用Python语言，基于Keras框架，使用transformer模型实现单变量时间序列数据预测...
weixin_35753291的博客
02-18 711
可以使用以下Python代码来实现：import keras from keras.layers import Input, Dense, Dropout, LSTM, Embedding from keras.models import Model# 输入层 inputs = Input(shape=(None,1)) 嵌入层 embedding_layer = Embedding(input_...
Transformer详细解读与预测实例记录
小猴子的博客
04-08 1万+
文章目录Transformer详细解读与预测实例记录1、位置编码1）输入部分：2）位置编码部分：2、多头注意力机制1）基本注意力机制2）transformer中的注意力3、残差和LayerNorm1）残差2）LayerNorm4、前馈神经网络5、Decoder Transformer详细解读与预测实例记录 1、位置编码 之后细化： 注意：encoder结构完全相同，但其参数不完全相同；decoder也是一样，不过decoder和encoder也是不相同的。 transformer模型结构如下图：
基于encoder-decoder的非自回归Transformer时间序列预测Python程序
黑科技小土豆的博客
03-10 1187
基于encoder-decoder的非自回归Transformer时间序列预测Python程序
使用 Transformer 做预测 （代码+原理）
热门推荐
weixin_39986534的博客
08-19 2万+
数据集制作 首先我们直接上代码 还是用波士顿房价数据集作为测试 from sklearn import datasets # 导入库 from sklearn.model_selection import train_test_split boston = datasets.load_boston() # 导入波士顿房价数据 train = boston.data # sample target = boston.target # target # 切割数据样本集合测试集 X_train,...
让时间序列预测结果更真实的损失函数
AI蜗牛车
11-21 3542
时间序列预测中，我们经常使用的损失函数包括MSE、MAE等。这些损失函数的目标是预测结果和真实值每个点的差距最小。然而这样的点误差损失函数真的适用于所有时间序列预测任务吗？点误差损失函数的问题在于，模型可能无法预测出准确的形状，而只是找到一种最简单的方法让点预测结果误差最小。例如，在一些时间序列任务中，数据经常出现高峰、低谷等极端的形状，点误差拟合可能会寻找一个中庸的值，而无法还原最真实的时间序列...
时间序列预测:舍弃LSTM使用Informer
HuDarleneq的博客
05-16 905
TheThirtyFifthAAAIConferenceonArtificial IntelligenceAAAI-21)最佳论文。
Transformer时间序列预测
weixin_39559994的博客
11-25 1万+
Transformer时间序列预测
annotated transformer
03-16
注释型Transformer是一种基于Transformer模型的改进版本，它在每个输入和输出的词向量中添加了额外的注释信息。这些注释信息可以是词性标注、命名实体识别、依存关系等，以提高模型对语言的理解和表达能力。注释型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值