论文笔记：TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting

最新推荐文章于 2024-08-23 12:08:43 发布
最新推荐文章于 2024-08-23 12:08:43 发布
阅读量361 收藏
点赞数 3
分类专栏： 论文笔记 文章标签： 论文阅读 prompt transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/137999672
版权

 iclr 2024 reviewer评分 568

  • 引入了一种基于提示调整的生成 Transformer，TEMPO，用于时间序列表示学习
  • 首先，我们利用分解的趋势、季节性和残差信息；其次，我们探索软提示策略以适应时间序列数据的动态特性
  • 通过在基准数据集和两个多模态数据集上的广泛实验，模型展示了卓越的性能

  • 实验部分采用zero -shot 的预测方式
    • eg，在评估“天气”数据集的性能时，模型在未接触目标天气数据的情况下，预训练于“ETTm1、ETTm2、ETTh1、ETTh2、Electricity 和 Traffic”等多样化数据集

UQI-LIUWJ
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING
weixin_45731480的博客
06-26 88
在过去的十年中，深度学习在时间序列建模方面取得了重大进展。在获得最先进的结果时，最佳性能的体系结构在应用程序和领域之间差异很大。同时，对于自然语言处理，生成预训练转换器(GPT)通过跨各种文本数据集训练一个通用模型，展示了令人印象深刻的性能。探索gpt类型的架构是否对时间序列有效，捕获内在动态属性并导致显着的准确性提高是很有趣的。在本文中，我们提出了一个新的框架，TEMPO，可以有效地学习时间序列表示。
【LLM系列之GPT】GPT（Generative Pre-trained Transformer）生成式预训练模型
yanqianglifei的专栏
05-18 2884
GPT（Generative Pre-trained Transformer）是由OpenAI公司开发的一系列自然语言处理模型，采用多层Transformer结构来预测下一个单词的概率分布，通过在大型文本语料库中学习到的语言模式来生成自然语言文本。
ICLR 2024 时间序列（Time Series）高分论文
suzukiwudi的博客
11-26 877
本文总结了2024 ICLR投稿时间序列的高分论文，其中包含了。供大家学习，欢迎大家补充。挑选原则：均分不低于6(≥6)
ICLR‘2024时间序列论文汇总！预测、分析、分类等方向的最新进展
2401_82426425的博客
01-29 3163
与基于 Transformer 和 MLP 的模型相比，ModernTCN 提供了更好的效率和性能平衡，并展示了更大的有效感受野，从而更好地利用了卷积在时间序列分析中的潜力。本文提出了一种新的可解释稀疏系统识别方法，用于时间序列预测，它结合了基于知识和数据驱动的方法，利用傅里叶基处理时间序列数据，并通过稀疏优化实现高精度预测。为解决此问题，本文提出了一种无源无监督的对齐方法，利用学习到的动态重用预训练的生成模型，避免从头训练，并在模拟中验证了该方法对运动皮层神经记录的对准效果。
大模型在时间序列预测领域的最新15篇论文
学姐带你玩AI的博客
11-09 2526
大模型可以处理不同类型的时间序列数据，例如文本、图像、音频等，也可以适应不同的时间序列数据的变化和异常情况，有助于提高时间序列预测的准确性和稳定性。另外，大模型还可以通过文本形式提供解释性的时间序列预测结果，从而帮助我们更好地理解时间序列数据的模式和趋势。为了方便想发论文的同学，我今天就来分享该领域的，这些文章主要涉及论文原文及模型代码都整理好了，需要的同学看文末。
2024丨时间序列预测（Time Series Prediction）论文汇总
qq_41300595的博客
04-19 6113
提出了STanHop-Net，一种新颖的时间序列预测模型，将基于 Hopfield 的模块与外部存储模块相结合，增强学习能力，对突发事件快速响应，并具有卓越的理论保证和经验性能。一个灵活的多变量概率时间序列预测模型，简化了attentional copulas，在不同的预测任务中具有最先进的精度，同时支持插值和从不规则数据中学习。通过使用 copula 对时间步长的依赖性进行建模，显着提高共形预测置信区间的效率/清晰度，用于多步时间序列预测。时间序列分析、时间序列预测、复值神经网络，轻量级。
论文目录3：大模型时代（2023+）
qq_40206371的博客
03-05 1381
早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。
PINT:PINT不是TEMPO3-高精度脉冲星计时的新软件
03-16
品脱PINT不是TEMPO3 PINT是一个基于python和现代库开发新的脉冲星定时解决方案的项目。 它仍在积极开发中，但是它已经可以从大多数与Tempo和Tempo2一致的“正常”时序模型中产生残差，误差在10纳秒之内。 它可以在...
realtime-bpm-analyzer:实时分析 BPM Tempo 的工具
05-30
实时 BPM/节奏分析器 由于该工具允许实时计算<audio></audio>或<video></video>节点上歌曲的 BPM（每分钟节拍数）。... 请注意，此工具的主要用例是在视频/音频播放期间获取 BPM。...
jira-tempo-sdk-php：异步PHP Jira Tempo SDK
02-05
composer require spacetab-io/jira-tempo-sdk 使用范例 返回承诺的简单方法 use Amp \ Loop ; use Spacetab \ TempoSDK \ Exception \ SdkErrorException ; use Spacetab \ TempoSDK \ TempoSDK ; Loop :: run ( ...
Asimptote_Cycle-Tempo_5.1.5.rar
08-09
Cycle-Tempo细节 Cycle-Tempo是能量转换系统热力学分析和优化的流程图。它适合于 传统的发电厂, 压缩制冷和冷却系统 非常规能源系统如: 太阳能ORC发电厂， tri-generation系统, 吸收式冷却和制冷系统 燃料电池, ...
mayukhsen13.github.tempo：KGEC E-Cell项目前端
02-18
【标题】"mayukhsen13.github.tempo：KGEC E-Cell项目前端"指的是一个GitHub仓库，其中包含了KGEC（可能是Kanpur Gandhi Engineering College）E-Cell（企业细胞，通常是一个大学内的学生组织，旨在促进创业精神）...
Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记
weixin_46103454的博客
08-20 394
假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。
【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks（2023）
Glass_Gun的博客
08-20 1105
换句话说，对于威胁模型隐私的模型窃取攻击，利用API查询公共数据的可接受次数(即通常较小)，并从MUA获取返回的预测，以构建用于训练替代/被盗模型的“传输数据集”，从而危及MUA的隐私并破坏其业务价值。值得注意的是，除了私下使用被盗模型进行进一步的免费查询外，被盗模型还可以用来制作可转移的对抗示例来欺骗MUA[12]，[13]。攻击者通过私有模型提供的付费查询服务(即MLaaS提供的API)，对查询的输入x获得预测y，在某些情况下，返回的预测通常是概率向量(即x属于特定类别的置信度)或标签(top-1)。
VIT论文阅读： A Image is Worth 16x16 Words
qq_19859865的博客
08-18 574
在2024年，大家都知道了transformer的故事，但是在4年前, CNN和Transformer谁才是CV的未来，还没有那么确定。在简介部分，作者提到了一个令人失望的事实，在基于imagenet的实验中发现，transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality，这些CNN具有，但是transformer不具有的特性上。如下图【1】
Swin-Transformer论文阅读
qq_19859865的博客
08-20 910
在CNN对于图像分类，目标检测等问题的探索中，大家已经发现，母舰检测，语义分割这类任务，相比于图像分类对于网络backbone有着不一样的需求。而基于vit对于图像分类问题的探索，接下来，大家可以依葫芦画瓢，尝试解决更有挑战的问题了。关于目标检测，语义分割这类任务，通常需要网络具有分层提取不同颗粒度的特征，并且，网络的是输入可能是更高分辨率的图像，输出也是更精细的特征，比如语义分割的mask。
[论文笔记] eval-big-refactor lm_eval 每两个任务使用一个gpu，并保证端口未被使用
最新发布
心宝的博客
08-23 238
【代码】[论文笔记] lm_eval 每两个任务使用一个gpu，并保证端口未被使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值