【ICLR 2023】时序精选论文02|PatchTST: 片段输入与独立变量思想(代码解读附源码)

PatchTST是patch time series transformer的缩写,它是由Nie, Nguyen等人在2023年3月的论文中首次提出:A Time Series is Worth 64 Words: Long-Term Forecasting with Transformers,论文链接:链接

本文主要结合PatchTST的源码对内部工作原理进行学习解析

文章提出的主要几个创新点:

1、主要是对于输入数据的改变,将已经切分好的样本(数据预处理阶段构建的训练集)再输入时切分为小片段(这个操作在后面的Crossformer中的输入也出现了,或许此类操作是着实有效的);

2、独立的变量处理,主要意思是在变量的维度上进行单独的计算,不同于一般性的Transformer的编码计算(这一点的代码逻辑与Crossformer中也很类似,可以参考文章链接,那篇文章的创新点在于加强了多变量间的关系,从两个维度进行了单独的注意力考虑)

3、最后有一点是对Patch进行了自监督机制(这一点我还在未在代码中阅读,后续更新)

原文图示:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,以下是MIA、MICCAI、NIPS、CVPR、ICLR在2018到2023年的语义分割方面的一些高亮工作: 1. MIA:2018年的MIA会议上,一篇名为“Fully Convolutional Networks for Semantic Segmentation”的论文提出了一种基于全卷积神经网络的语义分割方法,该方法能够在保留图像细节的同时实现高精度的分割结果。 2. MICCAI:2019年的MICCAI会议上,一篇名为“Attention U-Net: Learning Where to Look for the Pancreas”的论文提出了一种名为Attention U-Net的方法,用于进行胰腺分割。该方法结合了注意力机制和U-Net结构,能够更好地捕捉图像中感兴趣的区域。 3. NIPS:2019年的NIPS会议上,一篇名为“Semantic Segmentation with Object-Centric Variational Auto-Encoder”的论文提出了一种基于变分自编码器的语义分割方法,该方法能够生成具有高质量语义标签的图像。 4. CVPR:2020年的CVPR会议上,一篇名为“DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs”的论文提出了一种名为DeepLab的方法,用于进行语义分割。该方法结合了深度卷积网络、空洞卷积和全连接条件随机场,能够在不同分辨率下实现高质量的分割结果。 5. ICLR:2021年的ICLR会议上,一篇名为“Semantic Image Synthesis via Adversarial Learning”的论文提出了一种基于对抗学习的语义图像合成方法。该方法能够从语义标签生成具有高质量的图像,并在图像合成中保留了原始语义信息。 6. MICCAI:2023年的MICCAI会议上,一篇名为“Learning to Segment Medical Images with Limited Annotated Data”的论文提出了一种基于有限标注数据的医学图像分割方法。该方法结合了元学习和数据增强技术,能够在只有少量标注数据的情况下实现高质量的分割结果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值