u010681011的专栏

原创 时序论文18｜ICML24 ：复旦&微软团队提出基于脉冲网络的时序预测新思路

这篇文章给我们一个发文章的思路：继续在transformer架构卷改进很难了，换新赛道则竞争相对没有那么激烈，要善于发掘新方法在时序上的应用，比如：如KAN、SNN等。另外，这种类型的文章好难讲清楚，太多额外知识点，还是建议看原文～脉冲神经网络（SNNs）因其卓越的能效、事件驱动的特性和生物学的合理性，被公认为神经网络发展的第三代技术，为捕捉时间序列数据的细微差别开辟了独特的途径。复旦大学团队提出了一个针对时间序列预测的SNN框架，充分利用脉冲神经元在处理时间信息方面的高效性。

原创 时序论文17｜ICML24 SAMformer：华为新奇视角讨论Transformer时序预测时的收敛优化问题

这篇文章发表于ICML2024，文章要解决的问题、以及思路都很新奇，非常推荐大家阅读。基于Transformer的架构在多变量长期预测方面，仍然不如更简单的线性基线。作者首先通过一个toy线性预测问题，展示了Transformer尽管具有很高的表达能力，但无法收敛到它们的真实解，并且注意力机制是导致这种低泛化能力的原因。基于这一洞见，提出了一个浅层轻量级Transformer模型，当使用感知锐度优化进行优化时，能够成功地逃离不良局部最小值。

原创 近期值得关注的4个时序大模型研究

梳理了近期几篇时间序列大模型研究文章（后台回复：“论文合集”获取），时间序列大模型的研究正在迅速发展，并且在多个领域和应用中展现出巨大的潜力。基础模型的构建：研究者们正在尝试构建时间序列预测的基础模型，这些模型可以在不同的时间序列数据集上进行预训练，并展示出良好的泛化能力。模型可解释性：通过文本形式提供解释性的时间序列预测结果，帮助用户更好地理解时间序列数据的模式和趋势。特定领域的应用：大模型正在被应用于特定领域的时间序列预测，如金融、医疗、交通等，以解决特定问题并提供可解释的预测。1UniTS。

原创 时序必读论文16｜ICLR24 CARD：通道对齐鲁棒混合时序预测Transformer

Transformer取得成功的一个关键因素是通道独立（CI）策略，包括Patch TST在内的很多模型都使用了该策略。然而，CI策略忽略了不同通道之间的相关性，这会限制模型的预测能力。在中，作者针对通道独立进行改进。首先，CARD引入了一种通道对齐的注意力结构，使其能够捕捉信号之间的时间相关性以及多个变量随时间的动态依赖性。其次，为了有效利用多尺度知识，作者设计了一个token混合模块来生成不同分辨率的token。第三，引入一种鲁棒损失函数，以减轻潜在的过拟合问题。

原创 时序必读论文15｜TimeXer：通过外部变量增强Transformer在时间序列预测中的能力

仅仅关注内生变量，通常不足以保证准确的预测，外部序列可以为内生变量提供有价值的外部信息。先前的多变量或单变量预测方法要么将所有变量平等对待，要么忽视外部信息，本文提出TimeXer框架，利用外部信息来增强内生变量的预测。TimeXer相较于Transformer架构，具备调节内生和外生信息的能力，特别是设计了patch自注意力和variate交叉注意力机制。此外，TimeXer还采用了一个全局内生变量token来将外部序列桥接到内生时间patch中。

原创 时序必读论文14｜VLDB24 TFB：全面且公平的时间序列预测方法框架

五一过后读的第一篇文章，质量非常高。与以往对时序模型修补、改进类的算法论文不同，TFB这篇文章关注的是整个时间序列领域更高的层面的问题。其实从我开始写文章以来，就陆续收到私信，询问：为什么论文中SOTA的模型，放到我的数据集不work /效果不好/不如线性模型？包括我在kaggle社区也发现，几乎所有的业界时序预测竞赛，大家用XGboost类算法，而非深度学习。

原创 影响6个时序Baselines模型的代码Bug

我是从去年年底开始入门时间序列研究，但直到最近我读FITS这篇文章的代码时，才发现从去年12月25号就有人发现了数个时间序列Baseline的代码Bug。如果你已经知道这个Bug了，那可以忽略本文～这个错误最初在Informer（AAAI 2021 最佳论文）中被发现，是爱丁堡大学的Luke Nicholas Darlow发现。这个问题对时间序列预测领域的一系列广泛研究都有影响，这个Bug影响了包括在内的经典baseline。FITS这篇文章发布一个修复方法，以帮助社区在他们的工作中解决这个问题。

原创 时序必读论文13｜ICLR24 “又好又快”的线性SOTA时序模型FITS

FITS（Frequency Interpolation Time Series Analysis Baseline）这篇文章发表于ICLR2024，也是之前SOTA的线性模型DLinear团队的最新论文。FITS的主要贡献在于基于傅立叶变换和低通滤波，通过在复频域内进行插值来操作时间序列，结合时域和频域优势，适用于边缘计算和实时分析任务，据作者所说，它具有大约10,000个参数。我个人觉得，大家很要必要研读一下DLinear和FITS这两篇文章，不在于模型，而在于作者讲故事的能力和技巧。

原创 对时间序列SOTA模型Patch TST核心代码逻辑的解读

Patch TST发表于ICLR23，其优势在于保留了局部语义信息；更低的计算和内存使用量；模型可以关注更长的历史信息，Patch TST显著提高了时序预测的准确性，Patch可以说已成为时序模型的基本操作。我在先前的一篇文章对Patch TST做了比较细致的论文解读，各位朋友可参考。但是最近很多朋友私信问我：Patch TST到底好在哪里？Transformer模型也对时序数据进行了切分，和Patch TST的切片有何区别？

原创 时间序列8个基准Baseline模型及其详细解读

分享过程中，我收获了不少素未谋面的研究者的鼓励，与大家留言交流的过程更受益匪浅，这是我未曾预料到的收获。是另一个线性模型的变体，它采用了不同的预处理方法。作者认为由于Transformer的自注意力机制是对称的（置换不变性），并且在计算注意力权重时不考虑序列中的位置信息，因此无法有效地捕捉时间序列中的时序依赖关系，导致时间信息的丢失。现有的基于 Transformer 的模型主要集中在建模时间依赖关系（跨时间依赖），但往往忽视了不同变量之间的依赖关系（跨维度依赖），而这对于 MTS 预测至关重要。

原创 时序必读论文12｜ICML22 FEDformer基于周期分解的长时序预测transformer架构

FEDformer这篇文章发表于2022年的ICML。其实如果只比较性能的话，到如今其实早已被各类新模型超越。但是考虑到FEDformer一直是时序预测的一个重要baseline。此外，论文采用的周期趋势项分解策略，通过多次分解降低了输入输出的波动这种策略在后续很多论文被反复使用，使得Transformer能够更好地学习长时序中的依赖关系，提升了预测精度。因此，尽管论文发表时间较早，我还是将其列入到了时序必读论文。

原创 近期值得关注的3个线性时序模型及其未来发展综述

从Transformer架构提出以来，时间序列领域几乎绝大多数模型是在Transformer架构基础改进。但自注意力机制计算复杂过高同时位置编码对时序信息表示不完全一直是问题。可解释性：数学形式简单直观，较清晰地展示变量之间的关系，有助于理解时间序列数据背后的动态机制。计算效率：计算成本低，使其在处理大规模时间序列数据时更加高效，特别是在需要实时预测或高频率更新的场景中。稳定性：线性模型通常对噪声和异常值具有一定的稳健性。能够相对较好地处理异常值和噪声问题，避免过度拟合或产生不稳定的预测结果。

原创 近期值得关注的扩散模型Diffusion与时间序列结合的文章

这种目标构建方式受到以下观察的启发：扩散模型的前向过程，即按顺序将数据分布破坏为标准正态分布，直观上与将细粒度数据平滑为粗粒度表示的过程相吻合，两者都导致了精细分布特征的逐渐丧失。在这个框架中，论文采用一种分解技术，使Diffusion-TS能够捕捉到时间序列的语义含义，而Transformer则负责从带有噪声的模型输入中深入挖掘详细的序列信息。去噪过程则以易到难的方式进行，首先生成最粗糙的趋势，然后逐步添加更精细的细节，同时利用预测的较粗糙趋势作为条件变量。建模模式的时间转换过程，以便将生成的片段聚合。

原创 时序必读论文11｜ICLR23 TimesNet时间序列分析的二维变化建模

时间序列分析中，如何有效地建模时序数据中的时间变化是关键，然而直接从一维时序数据提取这种变化很困难。本文提出一种新的时序分析方法——二维变化建模TimesNet。该方法将一维时间序列数据转换为二维张量，作者基于时序数据的多周期性特点，将数据分解为多个周期内变化和周期间变化，并将这些变化分别嵌入到二维张量的列和行中。这样的好处在于可以利用二维卷积核对这些二维张量进行建模，从而提取出时间序列中更深层次的时间变化特征。

原创 时序必读论文10｜ICLR23 Crossformer 跨维度依赖的多变量时序预测模型

Crossformer是一篇非常典型的在transformer基础上魔改注意力机制的文章，这虽然现在时间序列中的多尺度、注意力基本已经做到头了，但是作为一篇学习论文，质量很高，值得阅读。另外，这篇文章也算是为patch找到了依据。Transformer的核心之一是注意力机制，而基础Transformer时序预测的注意力机制主要建模同一变量不同时刻的相关性（文中称跨时间依赖，如下图b），却忽视了不同变量之间的依赖性（文中称之为跨维度依赖，如下图c）。为了填补这一空缺，本文提出了。

原创 时序最佳入门代码｜基于pytorch的LSTM天气预测及数据分析

在本篇文章，我们基于pytorch框架，构造了LSTM模型进行天气预测，并对数据进行了可视化分析，非常值得入门学习。该数据集提供了2013年1月1日至2017年4月24日在印度德里市的数据。数据集和完整可用的代码可以在后台回复"代码04"获取。

原创 时间序列中的多尺度问题-近期值得关注的8篇多尺度建模工作

本文为大家总结了近期发表的8篇高质量时序多尺度建模论文。后续将挑选出部分论文进行解读，欢迎大家关注。

原创 时序必读论文09｜ICLR24基于Transformer 自适应多尺度patch的时序预测模型

通过傅立叶变化，把时序数据自适应切分为最佳的、不同尺度的patch，然后设计patch内和patch间的注意力机制，进行下游任务。思路非常清晰简洁。关于自适应尺度这样的学术词汇，我想通过举例子其实非常容易理解。以电影举例，有的电影情节冗长拖沓，我们就会快进，看电影的粒度和尺度就会更宽。而有的电影情节紧凑，我们会慢慢欣赏，看电影的粒度和尺度就很精细。自适应的意思就是根据电影情节密度自动帮你计算合适的快进步长。如上图就是一个例子，左图：时间序列被划分为具有不同尺度的patch，作为时间分辨率。

原创 时序必读论文08｜ITransformer论文解读和我对时序工作未来的展望

这篇文章我很早之前就留意到并阅读过，但是一直没有做解读，是因为我看到不少人在知乎上说论文的结果与PatchTST相比要弱一些。ICLR24放榜之后，我看这篇论文是被收录了，这说明论文思路，还是有值得借鉴之处的。本文就借此解读ITransformer论文，另一半也结合这篇文章，谈一谈时序方面可以进一步做的工作。为什么transformer直接应用到时序预测效果不好？transformer的一个时间步内具有不同物理意义的时间序列，被切分成小段，然后把这些变量映射到一个token，间接摧毁了变量间的联系。

原创 时序必读论文06｜PITS : 基于非依赖策略学习时序patch特征表示

之前的文章我们读了Patch TST，建议大家阅读原论文，毕竟是基础，我的论文解读放在下方。客观讲，Patch方法目前在时间序列领域几乎等同于attention，用了确实比没用好。这篇文章就是继patch TST之后的另一篇，但从题目名字可以看出该文章工作重点是学习patch的特征表示方法。具体来说，作者对比了 patch independent和patch dependent 两种方法，所产生的特征的优劣。按照作者说法，patch independent 方法结构简单、参数少，效果好。

原创 时序必读论文05｜PatchTST : 时序数据Patch已成趋势【ICLR 2023】

书接上回，我们在之前的文章已经分析了直接把transformer应用到时间序列预测问题的不足，其中我们总结了4个不足：分别是：注意力机制的计算复杂度高，为 O(N^2)，并且计算得出的权重仅有少部分有用；注意力机制仅建立单时间点位之间的关系，实际能提取到的信息非常有限；对时序或者说位置的建模表示不够充分，而时序任务中前后位置关系是重中之重；没有专门的机制在数据“平稳化（之后详解）”和“非平稳化”之间达到合适的平衡。其中Informer对第一点做了较大的改进；

原创 时序必读论文04｜Non-stationary Transformers:序列平稳性优化【NeurIPS 2022】

首先，让我们简要说明一下什么是平稳和非平稳序列，这是两种不同的数据模式。平稳序列（Stationary Series）常态不变性（Stationarity）：其统计特性如均值、方差和自相关性等统计特性在不同时间段内保持不变。具体来说，平稳序列在时间上不会显示出趋势、季节性或周期性等变化。这种序列的特点是其统计性质不随时间变化而改变。平稳性质的重要性：平稳序列的分析更加可靠，因为它的统计性质不随时间变化而改变，使得模型的预测和分析更加准确和可靠。

原创 Informer｜时间序列研究之必读核心论文

之前主要是对真实的数字货币数据，进行基本的数据处理、分析、可视化，并基于light GBM进行了收益率的预测。两篇文章分享了源代码和数据集，但是还是比较侧重于实践。所以从这篇开始，我也会同步记录自己阅读时间序列论文的笔记。但根据我的经验，由于相关论文太多，刚刚入坑的同学大多是不知道该从哪篇读起的，这是因为新手（包括我自己）往往对当前的研究的发展脉络是没有整体概念的。这时候，理清整体发展脉络，找到重点论文，并跟踪到最新的研究进展就极其重要。

原创 实验室网站图片

原创 matlab 画粒子

AgentNumber = 63;FrameNumber = 1; szBuffer = sprintf('reset.txt');% szBuffer = sprintf('./pathFile/path_250_group/%02d.txt',frame); f1=fopen(szBuffer);cla;i=1;while 1nextline = fgetl(f1); %读第一

原创 matlab 绘图，设置label字体，插入公式

x=0:0.25:2.25;% y=[90,85.33,80,87.27,92.23,96.21,100.22,103.90,105,106.25];% % b=[73.189,71.72,82.03,109.75,139.88,172.18,204.77,231];% %c=[68.82,78.43,80.35,90.42,124.55,145.93,180.277,226.108]

转载 计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换

0.前言最近整理了“相机成像原理”和“视差与深度信息”相关的资料，然后做成了PPT，以备自己用，也提供给相关的图像、视觉方向的朋友参考。如有误，望海涵并指出。1.正文图像处理、立体视觉等等方向常常涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。例如下图：  构建世界坐标系只是为了更好的描述相机的位置在哪里，在双目视觉中一般将世界坐标系原点定在左相机

原创 实验室论文作图，绘制粒子点

AgentNumber = 63;FrameNumber = 1; szBuffer = sprintf('reset.txt');% szBuffer = sprintf('./pathFile/path_250_group/%02d.txt',frame); f1=fopen(szBuffer);cla;i=1;while 1nextline = fgetl(f1); %读第一

原创 实验室进度记录之网格化场景合并路径

在获得场景中人群运动轨迹之后，往往会将场景进行网格化，网格化的目的有两个，一个是为了合并路径，另一个是为了强化学习挑选目标点。这里只记录使用matlab程序将得到的路径网格化。具体程序如下：clear;%读路径for f=1:1:1szBuffer = sprintf('3door.txt'); f1=fopen(szBuffer);cla;i=1;frame=1;y=1;wh

原创 用matlab 绘制osg平台得到路径轨迹

osg平台得到的路径是一帧一帧的，而且还包含头文件，以及绘制坐标时用不到的分组信息等。所以要提前把得到的路径信息做预处理，这里自己写了一个预处理程序，能够提取出路径的坐标。下面贴出程序，供有缘人使用。下面这段Ｃ＃程序，把ｏｓｇ平台的路径坐标处理好了。using System;using System.Collections.Generic;using System.Linq;using

原创 实验室进度记录之matlab描绘提取到的路径

需要说明的是，这个从视频中提取到的人物路径，不是由matlab提取到的，而是晕了微软zoo tracker这款软件，这款软件可以手动指定要提取的对象，并且在提取过程中还可以手动的介入修正提取过程，没有计算机视觉方面的经验的小伙伴，可以考虑用这个软件。但是很遗憾，现在微软好像已经不再继续开发这个软件了。zoo tracker 这个软件一次只能提取到一个目标对象，无法多目标的追踪，提取出的路径坐标存到

转载 数据库基础(面试常见题)

-DBA数据库管理员JAVA程序员架构师必看  数据库基础(面试常见题)一、数据库基础1. 数据抽象：物理抽象、概念抽象、视图级抽象,内模式、模式、外模式2. SQL语言包括数据定义DDL、数据操纵(Data Manipulation)DML,数据控制(Data Control)DCL数据定义：Create Table,Alter Table,Drop Table,

转载 数据库基础（常见面试题）

数据库基础(面试常见题)一、数据库基础1. 数据抽象：物理抽象、概念抽象、视图级抽象,内模式、模式、外模式2. SQL语言包括数据定义、数据操纵(Data Manipulation),数据控制(Data Control)数据定义：Create Table,Alter Table,Drop Table, Craete/DropIndex等数据操纵：Select ,inse

原创 记录在写学术论文时使用MATLAB制作折线图

写论文时候制作折线图用MATLAB做还是比较正式，记录一个简单的小程序 x=5:5:50; a=[75.256,76.704,75.263,75.337,75.599,76.302,75.824,76.924,75.595,75.442]; b=[72.112,70.768,68.63,68.201,64.067,61.717,61.476,61.561,61.066,61.586]; pl

转载 机器学习经典算法之-----最小二乘法

文章转自：http://www.cnblogs.com/iamccme/archive/2013/05/15/3080737.html一.背景   5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到

转载 一个判断网站织梦DedeCms版本的方法

最近想接触下信息安全，看了些文章，转过来当笔记了。转自http://www.myhack58.com/Article/54/93/2011/31617.htm这个方法可以判断出目标网站所使用的织梦dedecms是哪个版本的，打了哪一天的补丁。 在需要判断网站织梦版本的的URL路径后面添加/data/admin/ver.txt 如官方的：http://www.

转载 最大熵的Java实现

目录最大熵理论简介分类实现训练集训练GIS算法预测输出Reference这是一个最大熵的简明Java实现，提供训练与预测接口。训练采用GIS训练算法，附带示例训练集。本文旨在介绍最大熵的原理、分类和实现，不涉及公式推导或其他训练算法，请放心食用。最大熵理论简介最大熵属于辨识模型,能够满足所有

转载 最大熵模型中的数学推导

文章转自 http://blog.csdn.net/v_july_v/article/details/40508465?utm_source=tuicool&utm_medium=referral0 引言    写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够，所以导致迟迟未动笔。无独有偶，重写KMP得益于今年4月个人组织的算法班，而动笔继

转载 最大熵模型介绍及实现

转自：http://www.cnblogs.com/hexinuaa/p/3353479.htmlhttp://blog.csdn.net/hexinuaa/article/details/24711675Overview统计建模方法是用来modeling随机过程行为的。在构造模型时，通常供我们使用的是随机过程的采样，也就是训练数据。这些样本所具有的知识（较少），事实上，不

原创 简单记录一次实验室文件操作

给自己看，也就自己能看懂...using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;using System.IO;namespace ConsoleApplication2{ class Program