【文章学习系列之模型】TimeGPT-1 《TimeGPT-1》是2023年公开于arXiv的一篇文章,该文章以chatgpt为灵感,提出一种基础时序大模型TimeGPT。该方案的提出致力于解决数据集规模不够大、模型泛化能力不强以及调参难度不易的问题,证明了更复杂更多样的数据集提高了更大规模的模型预测效果。
【文章学习系列之模型】Feature Encoding with AutoEncoders for Weakly-supervised Anomaly Detection的无名模型 第一眼看这篇论文,便感觉和DAGMM类似,深入去了解后,会发现这篇文章只是结构类似,而其余内容则从不同的角度入手,比如弱监督、新编码策略等。这篇文章较好地解决了少量异常数据标记的问题,在具有少量异常数据标签的情况下,可以用这个方法试一试。
【文章学习系列之模型】Koopa 《Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors》是2023年发表于NeurIPS的一篇论文。考虑到时序预测中训练和推理数据之间甚至每个回溯窗口之间存在巨大的分布差距,作者结合动态模式分解(DMD)[近似库普曼算子的领先数值方法],提出一种新的非平稳时序预测模型,实验表明模型轻量高效且具备分布变化的自适应能力。
【文章学习系列之模型】SCALEFORMER 《SCALEFORMER: ITERATIVE MULTI-SCALE REFINING TRANSFORMERS FOR TIME SERIES FORECASTING》是2023年发表于ICLR上的一篇论文。作者发现在对不同时间尺度预测的尝试下,逐渐细化预测颗粒有利于时序预测,因此在论文中提出了一种通用多尺度框架,实验表明显著提高前人Transformer系列模型的实验效果。
【文章学习系列之技巧】Network Slimming 这是一篇2017年发表于ICCV的一篇论文。该论文指出深度卷积神经网络的应用受到了高计算成本的阻碍,并提出一种修剪模型结构的方式用于降低这种成本,使得模型大小减小、运行内存减小且不降低精度的情况减少参数量。
【文章学习系列之模型】DLinear 《Are Transformers Effective for Time Series Forecasting?》是2023年发表于AAAI上的一篇文章。该文章以“Transformer在时序预测中是否有效”为论点展开讨论,并提出一种非Transformer系列的简易网络模型。
【文章学习系列之模型】Non-stationary Transformers 《Non-stationary Transformers:Exploring the Stationarity in Time Series Forecasting》是2022年发表于NeurIPS上的一篇文章。在过去的时序预测研究中,人们常通过数据平稳化减弱原始序列的非平稳性,这一做法与时序预测对突发事件预测的意义相悖,忽略了现实场景下非平稳数据的普遍存在性,最终导致建模和预测过平稳化。为了解决这个问题,该论文提出由序列平稳化和逆平稳化注意力组成的新的网络结构。
【文章学习系列之模型】Informer 《Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting》是2021年发表于AAAI的一篇论文。常规自注意机制和Transformer模型已达性能瓶颈,作者尝试寻找新的方法来提高Transformer模型的性能,使其在具备更高效计算、内存和架构能力的同时,又能拥有更优异的预测能力。基于此,该论文提出了一种新的时序预测思路和自注意力机制。
【文章学习系列之模型】PatchTST 《A Time Series is Worth 64 Words: Long-term Forecasting with Transformers》是2023年发表于ICLR的一篇文章。该文章借鉴了计算机视觉领域的Vision Transformer(ViT)的方法,仅使用Encoder部分,提出了一种时序分块方法。