One Fits All: Power General Time Series Analysis by Pretrained LM

最新推荐文章于 2024-08-02 18:00:55 发布
最新推荐文章于 2024-08-02 18:00:55 发布
阅读量1.7k 收藏 34
点赞数 27
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Li_RuiQi/article/details/135232882
版权

timeseries forecast

有些文章，需要科学上网

1.introduction

综述：

https://otexts.com/fpp3/what-can-be-forecast.html

Robust Time Series Analysis and Applications An Industrial Perspective | KDD 2022 Tutorial Qingsong Wen, Linxiao Yang, Tian Zhou, and Liang Sun

retail sales

https://www.vldb.org/pvldb/vol10/p1694-schelter.pdf

https://hub.hku.hk/bitstream/10722/45458/1/122119.pdf?accept=1、

missing data umputation

The Interpolation of Time Series by Related Series on JSTOR

…

详细看：文章One Fits All: Power General Time Series Analysis by Pretrained LM

时序数据：小于10GB[2105.06643] Monash Time Series Forecasting Archive

语言模型（LM）的训练数据多，可以训练大模型。用预训练的大语言模型，去做时序的下游任务。不仅能解决时序任务，数据量不够（甚至有时候没有标签数据）的问题。还能为时序的各种下游任务提供一个统一的框架，而不像之前那样，每个下游任务都要做定制化的设计。

self-attention模块经过（语言数据）预训练后，在没有（时序）数据的形况下，也能有很不错的表现。归因于self-attention与pca的“相关性”。泛化性

2.related work

分为模态内迁移学习与模态间迁移学习

通过预训练进行模态内的迁移学习
NLP领域最近聚焦于在下游任务中。上下文的词嵌入。

bert使用transformer编码器，并采用掩码语言建模任务，旨在恢复文本中随机遮蔽的tokens。

chatgpt在大语料集中训练transformer编码器并在特定任务数据集上进行微调。

gpt2 ：在更大的数据集上训练更多的参数，并且可以迁移到各种各样的下游任务上。

因为transformer的输入格式是很灵活的，对应的使用transformer预训练得到的模型也天然的可以适用各种各样（包括视觉）的任务。

DEiT：教师-学生策略，cnn做教师模式

BEit：把图像变为视觉的tokens，将bert应用到CV领域。

但timseries领域的训练数据还是太少，所以做的还是少。

跨模态的迁移学习

由于transformer输入的适应性，所以在不同领域的迁移学习也是个有趣的方向。

VLMo是CV领域的预训练模型，分阶段预训练策略，利用图像数据预训练冻结注意力模块，来训练语言专家。

Lu，研究了与从其他领域数据中学习到的端到端的transformer相比，冻结的预训练模型的强大性能。

Voice2series用语言处理模型做时序分类。

3.methodology

3.1 structure

在这里插入图片描述

frozen pretrained block ==> self-attention layers and FFN

子注意力层和前馈层可以保留大部分学习到的知识，所以在微调的时候，冻结这部分

positional embeddings and layer normalization ==> adopt to downstream tasks

为了适应不同的下游任务，位置编码和层间的标准化，可以参与微调。

input embedding == > cross the domain （modify the interface）

我们使用的预训练模型是语言模型，语言数据和时序数据是不一样的。所以需要修改输入的embedding让其符合模型的维度要求。

Normalazation

除了层标准化，还使用了数据标准化，反向实例标准

patching ==> optimize

通过聚合临近的时间步，来形成一个基于patch的token，从而提取局部的信息。这样可以明显增加每次输入的历史时间范围，但token的长度是不变的。

4.实验

时序分类，异常检测，缺失数据填补，长短时序预测，少样本或零样本预测。

baseline：

基于CNN的模型：TimesNet，

基于MLP的模型：LightsTS, DLinear

基于Transformer的模型：Refomer,Informer Autoformer,FEDformer, Non-stationary Transformer,ETSformer,PatchTST,

短期预测：N-HiTS N-BEATS

异常检测：Anomaly Transformer

分类：XGBoost Rocket, LSTNet, LSSL Pyraformer, TCN, Flowformer

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5.Cost

在这里插入图片描述

6.self-attention connect PCA

数学公式看不懂

能看到实验，两个效果很像

在这里插入图片描述

​

Li_RuiQi
关注
  • 27
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
One Fits All:Power General Time Series Analysis by Pretrained LM
小蚂蚁与大象
11-05 365
尽管我们已经见证了预训练模型在自然语言处理(NLP)和计算机视觉(CV)领域的巨大成功，但在一般时间序列分析方面的进展有限。与NLP和CV可以使用统一的模型执行不同的任务不同，在分类、异常检测、预测和少量学习等每一个时间序列分析任务中，专门设计的方法仍然占主导地位。我们的结果表明，在自然语言或图像上进行预训练的模型可以在所有主要的时间序列分析任务中产生相当的或最先进的性能，如图1所示。利用预训练的语言模型提供一个统一的时间序列分析框架，处理不同的时间序列任务如：分类、异常检测、预测、少采样或零采样学习。
LLM4TS文献阅读：One Fits All:Power General Time Series Analysis by Pretrained LM
Msc30839573的博客
02-19 705
与NLP和CV中的统一模型可以执行不同的任务不同，特殊设计的方法在每个时间序列分析任务中仍然占主导地位，如分类、异常检测、预测和少镜头学习。阻碍对时间序列分析的预训练模型的开发的主要挑战是缺乏大量的训练数据。我们的结果表明，在自然语言或图像上的预先训练的模型可以在所有主要的时间序列分析中导致可比的或最先进的性能。除了在预先训练过的LM中使用的层范数外，我们还加入了一个简单的数据归一化块，反向实例范数Kim等人（2022），以进一步促进知识转移。我们的体系结构保留了预训练模型中的位置嵌入层和自我注意块。
论文笔记： One Fits All:Power General Time Series Analysis by Pretrained LM
qq_40206371的博客
08-25 3060
只使用很少的一部分训练数据（10%，5%)在A数据集上训练，在B数据集上测试。
推荐：革新时间序列分析——“万能适配”预训练语言模型技术
gitblog_00051的博客
06-07 591
推荐：革新时间序列分析——“万能适配”预训练语言模型技术 项目地址:https://gitcode.com/DAMO-DI-ML/NeurIPS2023-One-Fits-All 在快速发展的数据科学领域，时间序列分析一直扮演着核心角色，其挑战在于高效处理大量动态数据，以预测未来趋势、识别异常等。【One Fits All: Power General Time Series Analysis b...
论文目录3：大模型时代（2023+）
qq_40206371的博客
03-05 1349
早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 1932
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
时序预测发论文新方向！大模型+时间序列引爆顶会
人工智能讲师分享前沿技术
07-24 607
为帮助大家掌握大模型时代时间序列预测的研究方法，今天给大家分享58篇必读论文，原文和代码都有。
常见的文心一言的指令
知码客
07-25 2133
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
和数集团十周年庆典：新起点、新目标、新征程
Likelib的博客
08-01 942
在十周年庆典这个特殊的日子，和数集团对在市场开拓、客户服务等方面具有突出表现的个人进行了表彰。
Transformer 架构告诉我们什么？
2401_85233349的博客
08-01 1259
在传统的心理语言学方法中，人类语言是用可解释的模型来解释的，这些模型将符号元素（例如名词、动词、形容词、副词等）与基于规则的操作相结合。从几何上讲，它们之间的夹角越小，余弦值和点积就越大，并且这两个词在特定上下文中的相关性就越高，就像在高维空间中表示的那样。，Transformer 作为过度参数化的简单模型所展现出的蛮力学习，与进化过程类似，都是“简单而简约的”。下面是一个简单的示例，展示了词向量的基本概念。有趣的是，A 和 B 的相关系数也是角度的余弦（见上文 (2) 和 (3) 的公式）。
常用的机器学习模型的不同调用方式
weixin_71458119的博客
08-01 964
不同机器学习方法的调用
带并行卷积的水下图像背景前景分割方法
renhongxia1的博客
07-30 1260
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
torch.nn.RNN(）相关的参数设置
guoqingru0311的博客
07-31 548
torch.nn.RNN(）相关的参数设置
＜数据集＞手机识别数据集＜目标检测＞
qq_53332949的博客
07-29 561
YOLO与VOC格式的人员持有手机识别数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，图片数量16172
如何把视频语音转文字？交给这4款工具就完事
xixixihahaha_的博客
08-01 569
然而，随着采访的深入，如何快速准确地将这些珍贵的视频内容转化为文字记录，成为了一个亟待解决的问题。在这场速度与精准度的竞赛中，视频转文字的免费软件便成为了记者们不可或缺的助手。这两天巴黎奥运会的盛大开幕，世界各地的记者们纷纷涌入这个体育盛事的现场，带着他们的镜头和麦克风，捕捉每一个激动人心的瞬间。高精度识别：采用先进的语音识别技术，确保转换文字的准确性。适用于多种场景的视频转文字需求，特别是对外语视频的支持。云端存储：转换后的文字自动保存在云端，方便随时访问。③ 开始转写，并在线查看和编辑生成的文字内容。
AI助力：7个改变游戏规则的网站构建神器
2301_79599164的博客
07-29 942
你在一个难以使用的平台上花了几个小时来设计一个网站吗？你正在寻找一种更快、更有效的方法来创建一个具有良好视觉效果的在线形象吗？是时候用最好的人工智能网站建设工具来拥抱未来了，它们可以帮助你了。这些新工具已经开始改变网页设计过程，并利用人工智能为您解决问题。从人工智能驱动的设计辅助到代码生成，最好的人工智能网站建设工具可以让您比以往任何时候都更容易在短时间内创建一个专业的移动优化网站。这不仅仅是简单地使用人工智能艺术生成器和人工智能写作工具来创建内容，而是将这些人工智能工具直接引入到网站建设过程中。
线性回归和逻辑回归揭示数据的隐藏模式：理论与实践全解析
qq_42538588的博客
07-30 1021
机器学习是人工智能的一个重要分支，旨在通过算法让计算机系统利用数据自动学习和改进。它通过从数据中学习模式和规律，使得计算机能够进行预测、分类或者决策，而无需显式地进行编程。随着数据量的急剧增加和计算能力的提升，机器学习在各个领域如图像识别、自然语言处理和推荐系统等方面展现了强大的应用潜力。监督学习是机器学习的一种重要范式，其核心是从标记数据（带有输入和预期输出的数据）中学习规律，以便对新数据进行预测或分类。
医疗AI新突破！多模态对齐网络精准预测X光生存，自动生成医疗报告！
最新发布
m0_61574757的博客
08-02 679
随着大型视觉语言模型（LVLMs）在医疗保健应用中的日益重要，包括医疗视觉问题解答和成像报告生成，这些模型在展现强大能力的同时，也继承了基础大型语言模型（LLMs）的幻觉倾向。幻觉指的是生成看似事实但无根据的内容，这在医疗领域尤其危险，因为容错率极低。然而，目前医疗领域缺乏针对幻觉检测和评估的专用方法和基准。为了填补这一空白，本文提出了Med-HallMark，首个专为医疗多模态领域设计的幻觉检测和评估基准。该基准提供了多任务幻觉支持、多面幻觉数据和层次化幻觉分类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值