- 博客(9)
- 收藏
- 关注
RSS订阅原创 【AAAI 2021】时序精选论文04｜Informer: 更高性能的Transformer（代码解读附源码）
可以注意的是，一般性的Transformer中内嵌的注意力结构都为 FullAttention，所以将编码器、解码器里面的内嵌结构都替换为FullAttention后，则为传统Transformer结构了。通过使用 torch.arange(L_Q).unsqueeze(1) 与 index_sample 结合，你可以为每个查询选择对应的 sample_k 个键。torch.arange(L_Q) 生成一个从 0 到 L_Q-1 的整数序列，其中 L_Q 是查询的长度。AAAI 2021最佳论文。
2024-05-20 13:43:54
387
原创 【ICLR 2023】时序精选论文03｜TimeNet: 借助FFT的周期性提取与二维空间建模（代码解读附源码）
近年来，深度模型被广泛用于时序分析任务中，例如循环神经网络（RNN）、时序卷积网络（TCN）和变换器网络（Transformer）。然而，前两类方法主要关注捕捉临近时刻之间的变化，在长期依赖上建模能力不足。Transformer虽然在建模长期依赖上具有天然优势，但是由于现实世界的时序变化极其复杂，仅仅依靠离散时间点之间的注意力（Attention）难以挖掘出可靠的时序依赖。
2024-05-15 19:47:37
147
原创 【ICLR 2023】时序精选论文02｜PatchTST: 片段输入与独立变量思想（代码解读附源码）
本文主要结合PatchTST的源码对内部工作原理进行学习解析文章提出的主要几个创新点：1、主要是对于输入数据的改变，将已经切分好的样本（数据预处理阶段构建的训练集）再输入时切分为小片段（这个操作在后面的Crossformer中的输入也出现了，或许此类操作是着实有效的）；2、独立的变量处理，主要意思是在变量的维度上进行单独的计算，不同于一般性的Transformer的编码计算（这一点的代码逻辑与Crossformer中也很类似，可以参考文章。
2024-04-30 17:29:04
77
1
原创 零基础完整版入门经典深度学习时间序列预测项目实战+最新前沿时间序列预测模型代码讲解学习整理（附完整可运行代码）
本专栏主要整理了作者在时间序列预测领域内的一些学习思路与代码整理，帮助大家在初进入此领域时，可以快速掌握代码进行实战操作，对代码的操作再结合论文阅读肯定是上升更快嘛，作者也愿意和大家一起讨论进步，下面的内容会逐步更新，作者主页的资源列也会放出一些可下载的资源供大家参考学习噢。
2024-04-27 23:27:50
185
原创 Centos系统docker安装步骤（保姆版，包括可能出现的bug解决方案）
Centos系统docker安装步骤（保姆版，包括可能出现的bug解决方案）
2024-04-27 22:52:24
269
1
原创 基于LSTM的时间序列预测代码示例
作者是一名目前在于时间序列预测的算法工程师，基于自己的学习记录，对代码进行了整理，供初学者进行参考和学习，后续会对自己对于前沿模型的理解和学习心得以及代码都会整理到博客上，希望和大家多多讨论哦。
2024-04-26 22:30:39
309
原创 【ICLR 2023】时序精选论文01｜CrossFormer: 实现多维变量间的羁绊（代码解读附源码）
作者认为先前的基于Transformer的模型在捕获长期时间依赖性上可谓是下足了功夫，还提出各种Attention变体来降低复杂度。然而，这些方法都忽略了对不同变量的“跨维度依赖性”的捕获，也就是多变量时序中不同变量序列的相关性。作者认为对这种相关性的捕获是重要的，尤其是对于多变量时序预测任务来说。大框架上仍然使用了Encoder-Decoder结构。
2024-04-26 16:27:13
391
1
CrossFormer实现时序预测
2024-04-27
nhit完整源码+论文学习
2024-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人