A decoder-only foundation model for time-series forecasting

最新推荐文章于 2024-06-24 09:00:00 发布
最新推荐文章于 2024-06-24 09:00:00 发布
阅读量255 收藏
点赞数
分类专栏： Time series 文章标签： 语言模型 时间序列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/133947823
版权
LLM 日更 同时被 2 个专栏收录
515 篇文章 3 订阅

已下架不支持订阅

Time series
12 篇文章 0 订阅
订阅专栏

本文是LLM系列文章，针对《A decoder-only foundation model for time-series forecasting》的翻译。

仅解码器基础模型用于时间序列预测

摘要

受自然语言处理（NLP）大型语言模型最新进展的启发，我们设计了一个用于预测的时间序列基础模型，该模型在各种公共数据集上的开箱即用零镜头性能接近于每个单独数据集的最先进监督预测模型的准确性。我们的模型基于在大型时间序列语料库上预训练补丁解码器风格的注意力模型，可以在不同的预测历史长度、预测长度和时间粒度上很好地工作。

1 引言

2 相关工作

3 问题定义

4 模型结构

5 实验结果

6 讨论和未来工作

我们使用大约1B个时间点的大型预训练语料库来训练用于时间序列预测的仅

了解本专栏 已下架不支持订阅
UnknownBody
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录

已下架不支持订阅

time-series-autoencoder:Pytorch双注意LSTM自动编码器，用于多元时间序列预测
05-01
下载和依赖项要克隆存储库，请运行： git clone https://github.com/JulesBelveze/time-series-autoencoder.git要安装所有必需的依赖项，请运行： pip install -r requirements.txt用法python main.py [-h] [--batch...
LLMs之TimesFM：《A Decoder-Only Foundation Model For Time-Series Forecasting》的翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-15 1661
​ LLMs：《A Decoder-Only Foundation Model For Time-Series Forecasting》的翻译与解读 目录 《A Decoder-Only Foundation Model For Time-Series Forecasting》的翻译与解读 ABSTRACT 1 Introduction引言 7 Conclusion结论 《A Decoder-Only Foundation Model For Time-S
自然语言处理:第三十八章: 开箱即用的SOTA时间序列大模型 -Timsfm
victor_manches的博客
06-24 971
本文介绍了由谷歌研究团队成员共同设计的一种专为时间序列预测设计的解码器通用大基础模型。该模型通过预训练一个采用输入分块技术的解码器风格注意力模型，并结合输入补全（input patching）技术，在包含真实世界和合成数据的大量时间序列语料上实现。其零样本（zero-shot）性能在多种公开数据集上接近于针对每个数据集的最先进监督预测模型的准确性。研究显示，这一模型能够跨越不同领域、预测时段及时间粒度，生成精确的零样本预测。
《A DECODER-ONLY FOUNDATION MODEL FOR TIME-SERIES FORECASTING》阅读总结
weixin_42209537的博客
06-20 1112
建立一个通用的零样本预测器，接受时间序列的过去C个时间点作为上下文，并预测未来的H个时间点。定义预测的准性可以通过均方误差（MAE）等指标来衡量。
【论文笔记 · PFM】Lag-Llama: Towards Foundation Models for Time Series Forecasting
lokol.的秘密基地
12-12 2259
本文提出Lag-Llama，在大量时间序列数据上训练的通用单变量概率时间序列预测模型。模型在分布外泛化能力上取得较好效果。模型使用平滑破坏幂律（smoothly broken power-laws）。目前任务主要集中于在相同域的数据上训练模型。当前已有的大规模通用模型在大规模不同数据上进行训练，展现出了极强的泛化能力。本文训练了一个Transformer模型，使用大量时序数据进行训练并在未见过的数据集上进行测试。文章在Monash时序仓库上训练了Lag-Llama。
ICML 2024 时间序列（Time Series）论文总结【抢先版】
suzukiwudi的博客
05-18 3554
2024ICML（International Conference on Machine Learning，国际机器学习会议）在2024年7月21日-27日在举行（好像ICLR24现在正在维也纳开）。本文总结了ICML 24有关的相关论文，如有疏漏，欢迎大家补充。同时我也蹭一下Mamba的热度，放了3篇ICML接收的Mamba的文章。：预测，因果，表示学习，分类，异常检测，插补，生成，不确定性量化，基础模型，大模型。
时间序列模型：lag-Llama
thorn_r的博客
04-14 1180
这是一个借鉴了Llama模型结构的单变量概率时间预测模型，使用了海量的数据集进行预训练，用户可以根据实际的任务进行模型微调或者直接进行零样本推理。模型从六个领域搜集了27个时序数据，根据不同的频数分为了7965个数据集进行预训练，之后又从其他数据集上进行零样本学习以及微调，使用CRPS评估的结果如图所示，Lag-Llama微调后的平均结果更好，仅2.786左右。
《异常检测——从经典算法到深度学习》26 Time-LLM：基于大语言模型的时间序列预测
Smileyan's blog
03-03 3149
基于大模型的时间序列预测。
You Only Cache Once: Decoder-Decoder Architectures for Language
05-23
You Only Cache Once: Decoder-Decoder Architectures for Language
protobuf-decoder-master.zip
04-17
protobuf-decoder-master.zip是一个压缩包，包含了一个名为"protobuf-decoder-master"的项目，该项目旨在提供一个无需proto文件即可解码protobuf数据流的工具。protobuf（Protocol Buffers）是Google开发的一种数据...
LDAC-Decoder-Evaluation-Kit-lib-for-ADK6.4.0-E.pdf
08-28
* ldac_decoder：LDAC解码器库的源代码 * lib：LDAC解码器库的库文件 * include：LDAC解码器库的头文件 * doc：LDAC解码器库的文档 2. 升级时间戳和复制库和源代码 在升级时间戳时，需要更新LDAC解码器库的版本号...
Viterbi-Decoder-in-Verilog:Verilog中Viterbi解码算法的有效实现
05-09
Verilog / FPGA高效的Viterbi解码算法。概述维特比算法作为卷积码的最大似然（ML）解码技术而闻名。 （n，k，m）维特比解码器中的路径存储单元负责跟踪与由路径度量单元指定的尚存路径相关联的信息位。...
磁力链磁力链磁力链.txt
最新发布
07-22
磁力链
“人力资源+大数据+薪酬报告+涨薪调薪”
07-22
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
安装graphviz和pygraphviz
07-22
pygraphviz 是一个Python库，它是Graphviz图形可视化软件的Python接口。Graphviz是一个开源的图形可视化软件，广泛用于创建和编辑有向图和无向图。pygraphviz使得Python开发者能够轻松地创建和操作图形，以及执行图形的布局和可视化。 一、pygraphviz的主要功能 创建和编辑图形：pygraphviz允许开发者通过Python代码来创建图形，包括添加节点、边等元素，并且可以编辑这些元素的属性，如颜色、形状、标签等。 图形布局：pygraphviz支持多种图形布局算法，如dot、neato、circo等，开发者可以根据需要选择合适的算法来优化图形的布局。 图形可视化：pygraphviz可以将创建和编辑好的图形保存为图片文件，支持多种图片格式，如PNG、JPEG等，方便开发者进行展示和分享。
BrainF**k Devlopment Toolkit
07-22
BrainF**k Devlopment Toolkit(BFDTK)，可用于开发BrainF**k程序。
基于UC3875控制的大功率全桥开关电源设计（提供原理图、PCB图）
07-22
基于UC3875控制的大功率全桥开关电源设计（提供原理图、PCB图） 1、使用UC3875为控制芯片； 2、NCP1253为辅助电源设计，输出12V，给控制芯片供电； 3、UC3845做BOOST升压控制，实现市电整流升压到400V； 4、全桥拓扑设计结构； 5、后级输出同步整流设计； 6、过压硬件保护电路； 7、过流硬件保护电路； 8、提供原理图、PCB图；
ResNet-based Convolutional Decoder-Encoder
03-29
A ResNet-based Convolutional Decoder-Encoder is a type of neural network architecture that combines the principles of Residual Networks (ResNets) and Decoder-Encoder networks. ResNets are deep neural networks that use skip connections to avoid the vanishing gradient problem and allow for the training of very deep networks. Decoder-Encoder networks, on the other hand, are used for tasks such as image segmentation, object detection, and image generation. The ResNet-based Convolutional Decoder-Encoder architecture consists of a series of encoder layers that downsample the input image and a series of decoder layers that upsample the encoded features to generate the output image. The encoder layers typically consist of Convolutional Layers followed by Batch Normalization and ReLU activation. The decoder layers consist of transposed convolutional layers, also known as deconvolutional layers, followed by Batch Normalization and ReLU activation. The skip connections in the ResNet-based Convolutional Decoder-Encoder architecture allow for the direct transfer of information from the encoder to the decoder layers, which helps to preserve important features and reduce the effects of information loss during the downsampling process. The resulting network can be trained end-to-end using backpropagation to minimize a loss function that measures the difference between the predicted and ground truth images. ResNet-based Convolutional Decoder-Encoder networks have been used successfully for a variety of image reconstruction and generation tasks, including image denoising, super-resolution, and inpainting.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值