iTransformer时序模型改进——基于SENet和TCN的倒置Transformer，性能暴涨

最新推荐文章于 2025-04-01 09:24:20 发布
最新推荐文章于 2025-04-01 09:24:20 发布
阅读量1.2k 收藏 16
点赞数 10
分类专栏： 信号处理 付费专栏 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41301570/article/details/141519313
版权
最低0.47元/天 解锁文章
TransFormer学习之基础知识：STN、SENet、CBAM、Self-Attention
超爱吃小蛋糕的66的博客
05-23 2068
TransFormer学习之基础知识：STN、SENet、CBAM、Self-Attention,对算法原理进行解析
深度学习算法transformer（时序预测）
weixin_43336108的博客
05-08 4365
【代码】深度学习算法transformer（时序预测）
TCN+itransformer时间序列预测项目源码
lxh1244607107的博客
09-07 2458
基于Transformer模型的时序预测架构通常将同一时间步的不同变量编码成一个统一的多维temporal token，并通过注意力机制来建模不同时间步之间的时序相关性。然而，近年来线性时序预测模型重新崛起，展现出比Transformer模型更优的效果，促使人们反思当前基于Transformer的时序预测架构的一些局限性：对于同一时间步的数据点，变量之间可能具有不同的物理意义，采集时间可能不一致，且尺度差异显著。
时序ETT油温数据
最新发布
Heyxy的博客
04-01 570
电力变压器油温数据，由国家电网提供，该数据集是来自中国同一个省的两个不同县的变压器数据，时间跨度为2年，原始数据每分钟记录一次（用 m 标记），每个数据集包含2年 * 365天 * 24小时 * 60分钟 = 1,051,200数据点。其中第一行（8列）是数据头，包括了 “HUFL”, “HULL”, “MUFL”, “MULL”, “LUFL”, “LULL” 和 “OT”，每一列的详细意义展示在表中。记录日期、高使用负载、高无用负载、中等使用负载、中等无用负载、低使用负载荷、低无用负载、油温。
针对Informer中时序数据ETT油温数据分析
creeper的博客
11-12 1万+
电力变压器油温数据，由国家电网提供，该数据集是来自中国同一个省的两个不同县的变压器数据，时间跨度为2年，原始数据每分钟记录一次（用 m 标记），每个数据集包含2年 * 365天 * 24小时 * 60分钟 = 1,051,200数据点。由于数据量的庞大，将数据粒度改为每15分钟1个数据点，记为ETTm1、ETTm2，或一个小时级别粒度的数据集变体使用（用 h标记），记为ETTh1、ETTh2。每个数据点均包含8维特征，包括数据点记录日期，预测目标值oil temperature和6个不同类型功率负载特征。
时间序列常用数据集（electrity，ETT，exchange，ILL，traffic，weather）
热门推荐
qq_43747519的博客
08-12 3万+
由两个小时级数据集（ETTh）和两个 15 分钟级数据集（ETTm）组成。它们中的每一个都包含 2016 年 7 月至 2018 年 7 月的七种石油和电力变压器的负载特征。
基础篇-认识时间序列常用数据集
u010681011的专栏
01-14 3734
最近在筹备写知识星球的文章，主要想把自己看完论文之后偶然产生的想法idea，以及实验验证过程记录下来。其实平时有挺多想法，但大多没有形成文字，或是跑跑代码就丢掉了，回过头想查资料就很麻烦，特别是知道自己曾经有过灵感，但就想不起来就很急。目前已经完成了一部分，本篇先分享出来，请大家给点意见。
senet154预训练模型-senet154-c7b49a05.pth
10-02
senet154预训练模型
基于SENet智能神经网络用于图像分类识别-SENet神经网络-Resnet网络-训练数据增强-训练自学习率动态调整-模型框架p
03-18
也就是SENet智能神经网络，用于图像的分类识别，该网络首先搭建基本res,然后block,接着stack,并对chn层进行了点乘改进，得到了SENet网络，并有训练数据增强、训练自学习率动态调整，以及模型框架plot_model绘制保存...
融合SENet和Trans...mer的应用层协议识别方法.caj
01-15
针对现有基于时空特征的协议识别方法提取协议特征不充分、不全面的问题，提出了一种基于SENet和Transformer的应用层协议识别方法。协议识别技术很重要。方法关注协议数据的时空特征，由加入SENet注意力的残差网络...
LSTM-EAAtention-Transfomer——基于有效附加注意力的时间序列预测
小嘤熊的博客
10-08 2208
在自然语言处理（NLP）领域，传统的加性注意力机制通过元素乘法而非点积来捕捉令牌间的成对交互，以获取全局上下文信息。这种机制依赖于三个关键的注意力分量——查询（Q）、键（K）和值（V）——来编码输入序列中上下文信息的相关性得分。这种方法被称为有效的附加注意力，它不仅提高了推理速度，而且生成了更强大、更丰富的上下文表示。在传统的RNN中，由于梯度消失的问题，网络往往难以捕捉序列中的长期依赖关系。它们中的每一个都包含 2016 年 7 月至 2018 年 7 月的七种石油和电力变压器的负载特征。
时间序列Long-term Forecasting标准数据集和benchmark
hellozhxy的博客
09-18 1025
文章在长期时间序列预测对比的benchmark上没有用LSTM/RNN等经典模型，只对比了Transformer-based的模型，其实作为读者我也很好奇LSTM/RNN在长期时间序列预测上的表现。PE越低的序列越容易预测。可以看到，经过文章提出的模型进行变换后，序列的可预测性确实有了提升，PE有显著下降。记录了2015年1月至2016年12月，旧金山湾区高速公路上的 862 个传感器测量的每小时道路占用率。短期时间序列预测，tau代表不同的预测间隔，短期预测考虑3,6,12,24步的向前预测。
Informer开源项目(3)
2301_76243816的博客
02-03 1582
为了解决不同地区的电力分配问题，需要提前预测特定地区的电力需求情况。该团队认为油温（数据集中的OT列）可以反映变压器的用电情况，只要油温安全就可以避免电力变压器的损坏。：基础的 informer 模型，它是为长期时间序列预测设计的。InformerStack 适用于那些需要从时间序列中提取更深层次、更复杂模式的场景，例如复杂的财经数据分析或高级气候模式预测。不是专业领域的伙伴可以不用在意各列的实际意义，只要明确我们数据集有8列，1列时间，使用其中6列特征的值，来预测最后一列的OT值即可。
时间序列-数据集：电力变压器数据集 (ETDataset)
u013250861的博客
07-22 7019
用于支撑”长时间序列”相关的研究。所有的数据都经过了预处理，并且以.csv的格式存储。这些数据的时间跨度为2016年7月到2018年7月。
SOFTS: 时间序列预测的最新模型以及Python使用示例
deephub
06-15 5422
SOFTS是Series-cOreFusedTimeSeries的缩写，背后的动机来自于长期多元预测对决策至关重要的认识：首先我们一直研究Transformer的模型，它们试图通过使用补丁嵌入和通道独立等技术(如PatchTST)来降低Transformer的复杂性。但是由于通道独立性，消除了每个序列之间的相互作用，因此可能会忽略预测信息。iTransformer 通过嵌入整个序列部分地解决了这个问题，并通过注意机制处理它们。
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution
qq_59482564的博客
12-10 420
长期时间序列预测（LTTF）已成为许多应用中的迫切需求，例如风电供应规划。由于高计算自注意力机制，变压器模型已被采用来提供高预测能力。尽管可以通过引入 LTTF 的逐点自注意力的稀疏性来降低 Transformer 的复杂性，但有限的信息利用率阻碍了模型全面探索复杂的依赖关系。
时间序列分析源码学习——数据集准备（核心代码逐行注释）
weixin_51009494的博客
04-16 1918
今天主要学习其中的数据集制作部分，核心代码块进行逐行解释理解
iTransformer
06-17
iTransformer是一个基于Transformer架构的模型，它可能是对Transformer架构的一种改进或应用到特定领域的一个版本。Transformer最初是由Google在2017年提出的，用于自然语言处理任务，尤其是机器翻译，其核心是自注意力机制，这使得模型能够并行处理序列数据。 iTransformer可能是在Transformer的基础上增加了某些创新，比如更高效的计算方法、针对特定任务的层结构优化或者是集成了其他技术（如卷积或循环结构）。它可能被设计用于文本生成、文本分类、对话系统或其他形式的序列数据处理。 具体来说，iTransformer可能包含以下特点： 1. 自注意力机制：允许模型在输入序列中找到全局依赖。 2. 多头注意力：同时处理不同抽象级别的信息。 3. Positional Encoding：为了保留顺序信息。 4. 参数共享：减少参数量，提高模型效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MatpyMaster

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值