![](https://img-blog.csdnimg.cn/direct/abc9922ef87c4f75bfa7a5b365b9ddae.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
泛读论文
文章平均质量分 92
以泛读为主,主要掌握创新点,获得更多的灵感。
流浪的诗人,
这个作者很懒,什么都没留下…
展开
-
Online and Offline Dynamic Influence Maximization Games Over Social Networks
在这项工作中,我们考虑了具有多个玩家(影响者)的社交网络上的动态影响力最大化游戏。在每个竞选机会开始时,个人的意见动态都会采取独立同分布。基于任意分布的实现。在观察到这些认识后,有影响力的人会分配一些预算来影响他们的意见动态。然后,个人的观点动态根据著名的德格鲁特模型演变。在活动结束时,影响者根据最终的意见动态领取奖励。每个影响者的目标是在有限的总预算率约束下最大化自己的奖励。因此,影响者需要考虑个人的意见动态和其他影响者的投资策略来仔细设计他们的投资政策,从而导致动态博弈问题。原创 2024-04-24 14:53:51 · 490 阅读 · 1 评论 -
Can Transformer and GNN Help Each Other?
尽管 Transformer 在自然语言处理和计算机视觉方面取得了巨大成功,但由于两个重要原因,它很难推广到中大规模图数据:(i) 复杂性高。(ii) 未能捕获复杂且纠缠的结构信息。在图表示学习中,图神经网络(GNN)可以融合图结构和节点属性,但感受野有限。因此,我们质疑是否可以将 Transformer 和 GNN 结合起来,互相帮助?在本文中,我们提出了一种名为 TransGNN 的新模型,其中 Transformer 层和 GNN 层交替使用以相互改进。原创 2024-04-10 15:51:47 · 725 阅读 · 0 评论 -
基于深度学习的时间序列算法总结
深度学习方法是一种利用神经网络模型进行高级模式识别和自动特征提取的机器学习方法,近年来在时序预测领域取得了很好的成果。常用的深度学习模型包括循环神经网络(RNN)、长短时记忆网络(LSTM)、门控循环单元(GRU)、卷积神经网络(CNN)、注意力机制(Attention)和混合模型(Mix )等,与机器学习需要经过复杂的特征工程相比,这些模型通常只需要经数据预处理、网络结构设计和超参数调整等,即可端到端输出时序预测结果。原创 2024-01-15 18:05:19 · 1398 阅读 · 0 评论 -
Multitask Learning and GCN-Based Taxi Demand Prediction for a Traffic Road Network
随着城市的发展,出租车成为城市中的一种重要的出行方式。在智能交通研究,准确的预测出租车需求是一大的热点,但由于其复杂的时空依赖性、动态性和不确定性,对出租车需求的预测极具挑战。为了充分利用道路交通流的全局和局部的相关性,本文提出了一种基于图卷积网络、长短时记忆(LSTM)和多任务学习的深度学习模型。首先,考虑道路网络中出租车出行的空间格局分布,建立无向图模型;然后,利用LSTMs提取交通流的时间特征;最后,采用多任务学习策略对模型进行训练,以提高模型的可泛化性。原创 2024-01-08 17:05:25 · 898 阅读 · 0 评论 -
Traffic Flow Prediction via Spatial Temporal Graph NeuralNetwork
交通流分析、预测和管理是新时代智慧城市建设的关键。借助深度神经网络和大交通数据,我们可以更好地理解复杂交通网络中隐藏的潜在模式。一条道路上的交通流动态不仅依赖于时间维度上的顺序模式,还依赖于空间维度上的其他道路。虽然目前已有预测未来交通流量的工作,但大多数工作在空间和时间依赖性建模方面存在一定的局限性。在本文中,我们提出了一种新的用于交通流预测的时空图神经网络,它可以全面地捕捉时空模式。特别是,该框架提供了一种可学习的位置注意机制,以有效地聚集来自相邻道路的信息。同时,它提供了一个顺序组件来建模交通流动态,原创 2024-01-06 16:55:45 · 928 阅读 · 0 评论 -
Unsteady Multi-Element Time Series Analysis andPrediction Based on Spatial-Temporal Attention
有害藻华(HABs)往往对渔业生产和人类生命安全造成极大危害。因此,HABs的检测和预测成为一个重要的课题。机器学习在国内外越来越多地用于预测HAB。然而,很少有人能够提前捕捉到 Chl-a 的突然变化并适当地处理长期依赖关系。为了应对这些挑战,提出了基于长短期记忆 (LSTM) 的叶绿素-a (Chl-a) 浓度预测时空注意模型,该模型可以捕捉各种因素与 Chl-a 之间的相关性,自适应地捕获来自先前时间间隔的动态时间信息以进行预测。原创 2024-01-06 15:50:11 · 748 阅读 · 0 评论 -
Deep Learning for Precipitation Nowcasting:A Benchmark and A New Model
Encoder-Decoder CNN也是一种可以用于时序预测任务的模型,它是一种融合了编码器和解码器的卷积神经网络。在这个模型中,编码器用于提取时间序列的特征,而解码器则用于生成未来的时间序列。输入历史时间序列数据,通过卷积层提取时间序列的特征。将卷积层输出的特征序列送入编码器,通过池化操作逐步降低特征维度,并保存编码器的状态向量。将编码器的状态向量送入解码器,通过反卷积和上采样操作逐步生成未来的时间序列数据。对解码器的输出进行后处理,如去均值或标准化,以得到最终的预测结果。原创 2023-12-27 14:36:19 · 1160 阅读 · 0 评论 -
Modeling Long- and Short-Term Temporal Patterns with DeepNeural Networks
LSTNet是一种用于时间序列预测的深度学习模型,其全称为Long- and Short-term Time-series Networks。LSTNet结合了长短期记忆网络(LSTM)和一维卷积神经网络(1D-CNN),能够有效地处理长期和短期时间序列信息,同时还能够捕捉序列中的季节性和周期性变化。LSTNet最初是由中国科学院计算技术研究所的Guokun Lai等人于2018年提出的。LSTNet模型的核心思想是利用CNN对时间序列数据进行特征提取,然后将提取的特征输入到LSTM中进行序列建模。原创 2023-12-26 16:14:00 · 1034 阅读 · 0 评论 -
ETSformer: Exponential Smoothing Transformers for Time-series Forecasting
本文研究者提出的 ETSformer 是对 Autoformer 模型构建思路的进一步改进,通过指数平滑的这种传统时序方法,不仅有更好的效果,同时也具有良好的可解释性。原创 2023-12-26 14:57:02 · 1218 阅读 · 0 评论 -
TIMESNET: TEMPORAL 2D-VARIATION MODELINGFOR GENERAL TIME SERIES ANALYSIS
受时间序列本质的多周期属性启发,本文提出了一个任务通用的时序分析基础模型——TimesNet。该模型创新性地将一维时间序列折叠至二维空间,并利用2D卷积取时序特征。这一创新使得时序分析任务可以直接受益于蓬勃发展的视觉骨干网络,对于后续研究具有良好的启发性。同时,TimesNet在长时、短时预测、缺失值填补、异常检测、分类五大主流时序分析任务上实现了全面领先,具有优秀的应用价值。原创 2023-12-25 19:38:20 · 1211 阅读 · 1 评论 -
Frequency-domain MLPs are More EffectiveLearners in Time Series Forecasting
时间序列预测在金融、交通、能源、医疗等不同行业中发挥着关键作用。虽然现有文献设计了许多基于 RNN、GNN 或 Transformer 的复杂架构(注意力机制的计算太占用资源,速度慢),但提出了另一种基于多层感知器(MLP)的方法,其结构简单、复杂度低且性能优越。然而,大多数基于MLP的预测方法都存在点式映射和信息瓶颈,这在很大程度上阻碍了预测性能。为了克服这个问题,我们探索了在频域中应用 MLP 进行时间序列预测的新方向。点式映射(Pointwise Mapping)原创 2023-12-25 15:07:46 · 1751 阅读 · 2 评论 -
Enhancing the Locality and Breaking the MemoryBottleneck of Transformer on Time Series Forecasting
时间序列预测是许多领域的一个重要问题,包括太阳能发电厂能源输出、电力消耗和交通拥堵情况的预测。在本文中,我们建议使用 Transformer [1] 来解决此类预测问题。尽管我们的初步研究对其性能印象深刻,但我们发现了它的两个主要弱点:(1)局部性不可知论:规范 Transformer 架构中的点积自注意力对局部上下文不敏感,这可能使模型容易出现异常在时间序列中;(2)内存瓶颈:规范Transformer的空间复杂度随着序列长度L呈二次方增长,使得直接建模长时间序列不可行。原创 2023-12-21 16:47:52 · 1182 阅读 · 0 评论 -
FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting
虽然基于Transformer的方法已经显著提高了长期序列预测的先进结果,但它们的计算代价是高昂的,更重要的是它们无法捕捉时间序列的全局视图。为了应对这一问题,文章提出将Transformer和季节趋势分解方法相结合,用分解方法捕捉世界序列的全局模式,而用Transformer捕捉更细节的结构。为了更好的提升Transformer在长期预测中的性能,我们利用了这样一个事实,即大多数时间序列倾向于在众所周知的基(如傅立叶变换)中具有稀疏表示,并提出一个增频Transformer。原创 2023-12-20 16:48:39 · 2349 阅读 · 0 评论 -
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling
对于大多数 深度学习研究者而言,序列建模任务等价于RNN。但是最近的研究表明,在音频合成以及机器翻译等任务上,CNN的表现胜过RNN。对于新的序列建模任务,RNN还是CNN,该如何选择?作者通过对用于RNN性能的标准任务来评估CNN的性能。结果证实,简单的CNN结构在不同的任务以及数据集上的性能优于LSTM这类典型的RNN模型。作者认为,应该重新考虑序列任务与RNN、CNN之间的联系,甚至是将CNN作为序列建模任务的起点。(作者在文中将其记做TCN)原创 2023-12-18 16:08:34 · 918 阅读 · 0 评论 -
Accurate one step and multistep forecasting of very short-term PV power using LSTM-TCN model
准确的光伏(PV)功率预测已成为将光伏电厂整合到电网中、进行调度并确保电网安全的强制性任务。在本文中,提出了一种使用LSTM-TCN的新型模型来预测PV功率。该模型由长短时记忆(LSTM)和时间卷积网络(TCN)的组合构成。LSTM用于从输入数据中提取时间特征,然后与TCN结合以建立特征与输出之间的连接。所提出的模型经过了使用包括测量的PV功率的历史时间序列的数据集进行测试。该模型的准确性随后与不同季节、时间段预测、多云、晴天和间歇性天气下的LSTM和TCN模型进行了比较。原创 2023-12-18 14:45:16 · 948 阅读 · 0 评论 -
Longformer: The Long-Document Transforme
基于 Transformer 的模型由于其自注意力操作而无法处理长序列,自注意力操作与序列长度呈二次方缩放。为了解决这个限制,我们引入了带有注意力机制的 Longformer,该机制随序列长度线性扩展,从而可以轻松处理数千个标记或更长的文档。Longformer 的注意力机制是标准自注意力的直接替代品,并将局部窗口注意力与任务驱动的全局注意力结合起来。继之前关于长序列转换器的工作之后,我们在字符级语言建模方面评估了 Longformer,并在 text8 和 enwik8 上取得了最先进的结果。原创 2023-12-14 17:39:43 · 292 阅读 · 0 评论 -
Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting
Informer这篇文章讨论了长序列时间序列预测(LSTF)的问题和挑战,特别是在电力消耗规划等实际应用中。长序列时间序列预测要求模型具有高度的预测能力,能够准确、高效地捕捉输入和输出之间的长距离依赖关系。虽然最近的研究显示,Transformer模型有潜力提高预测能力,但其存在几个严重问题,包括二次时间复杂度、高内存使用和编码器-解码器架构的内在限制,这使得它不能直接应用于LSTF。为了解决这些问题,作者设计了一个名为“Informer”的高效基于Transformer的模型,具有三个显著特点。原创 2023-12-12 15:18:57 · 291 阅读 · 0 评论 -
Autoformer: Decomposition Transformers withAuto-Correlation for Long-Term Series Forecasting
延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种 self-attention 机制来发现长期依赖关系。然而,长期未来的复杂时间模式使基于 Transformer 的模型无法找到可靠的依赖关系。此外,Transformers 必须采用稀疏版本的 point-wise self-attentions 以获得长序列效率,从而导致信息利用瓶颈。原创 2023-12-11 16:41:30 · 113 阅读 · 0 评论 -
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution
长期时间序列预测(LTTF)已成为许多应用中的迫切需求,例如风电供应规划。由于高计算自注意力机制,变压器模型已被采用来提供高预测能力。尽管可以通过引入 LTTF 的逐点自注意力的稀疏性来降低 Transformer 的复杂性,但有限的信息利用率阻碍了模型全面探索复杂的依赖关系。原创 2023-12-10 19:43:42 · 140 阅读 · 0 评论 -
PREFORMER: PREDICTIVE TRANSFORMER WITH MULTI-SCALE SEGMENT-WISE CORRELATIONS FOR LONG-TERM TIME SERI
在长期时间序列预测中,大多数基于 Transformer 的方法采用标准的逐点注意力机制,该机制不仅复杂度高,而且无法明确捕获上下文中的预测依赖关系,因为相应的键和值是从同一点转换的。本文提出了一种基于 Transformer 的预测模型,称为 Preformer。Preformer 引入了一种新颖高效的多尺度分段相关机制,将时间序列划分为分段,并利用基于分段相关的注意力来取代逐点注意力。开发了多尺度结构来聚合不同时间尺度的依赖关系并促进片段长度的选择。原创 2023-12-09 20:56:26 · 221 阅读 · 0 评论 -
Real-time forecasting of time series in financial markets using sequentially trained dual-LSTMs
金融市场高度复杂且不稳定;因此,准确预测此类市场对于尽早发出崩盘警报和随后的复苏至关重要。人们一直在使用金融数学和机器学习等不同领域的学习工具来对此类市场做出可信的预测。然而,在使用长短期记忆(LSTM)等人工神经网络框架之前,此类技术的准确性还不够。此外,对金融时间序列进行准确的实时预测(也称为即时预测)对于所使用的 LSTM 架构及其训练过程来说具有很大的主观性。在这里,我们通过训练双版本的 LSTM 来实时预测金融市场,该版本在每次迭代中仅预测一个时间步,以便本次迭代的预测将作为下一次迭代的输入。原创 2023-12-09 20:24:47 · 50 阅读 · 0 评论 -
SAITS: Self-attention-based imputation for time series
时间序列中的数据缺失是一个普遍存在的问题,给高级分析带来了障碍。一种流行的解决方案是插补,其中的根本挑战是确定应该填充哪些值。本文提出了 SAITS,一种基于自注意力机制的多元时间序列缺失值插补的新方法。通过联合优化方法进行训练,SAITS 从两个对角屏蔽自注意力 (DMSA) 块的加权组合中学习缺失值。DMSA 显式捕获时间步之间的时间依赖性和特征相关性,从而提高插补准确性和训练速度。同时,加权组合设计使SAITS能够根据注意力图和缺失信息动态地为从两个DMSA块学习到的表示分配权重。原创 2023-12-09 20:00:01 · 738 阅读 · 0 评论 -
基于自适应LSTM-BN网络的金融时间序列变动预测
长短期记忆 (LSTM) 网络是预测金融时间序列 (FTS) 变动的最先进模型之一。然而,现有的LSTM网络在具有急剧变化点的长期预测FTS中表现不佳,这显着影响了累积收益。本文提出了一种基于改进的自适应 LSTM 模型的 FTS 运动长期预测新方法。自适应网络主要由两个 LSTM 层组成,后跟一对批归一化 (BN) 层、一个 dropout 层和一个二元分类器。为了捕捉重要的利润点,我们建议使用自适应交叉熵损失函数,增强对急剧变化的预测能力,并淡化轻微波动。原创 2023-12-09 19:38:34 · 189 阅读 · 0 评论