雪色冥茫-CSDN博客

原创论文笔记：【ICLR 2024】SPATIO-TEMPORAL FEW-SHOT LEARNING VIA DIFFUSIVE NEURAL NETWORK GEN

时空建模往往受到数据稀缺的阻碍。为弥补这一缺陷，本文提出了一种新的生成式预训练框架GPD，用于时空少样本学习。该方法通过使用源城市数据优化的神经网络参数集合进行生成式预训练，将时空少样本学习改写为生成式扩散模型的预训练。GPD采用了基于Transformer的去噪扩散模型，在prompt的引导下生成定制的神经网络，以适应多样化的数据分布和城市特定的特征。该框架与模型无关，可与强大的时空神经网络集成，在交通速度预测和人群流量预测任务上均表现出优越性能。

2024-07-31 18:02:02 1123 1

原创论文笔记：CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

条件扩散模型的逆过程pθx0co（不同于现有的基于分数的扩散模型，允许模型利用观测值中的信息进行去噪），从图上最左边的随机噪声开始填充，逐步将噪声转化为似真的时间序列。在每一步t中，逆过程从上一步（即t1）的输出中去除噪声。图中每个方框里的虚线表示观测值，实线表示生成的填充，观测值不包含在每个xtta中。训练条件扩散模型需要。但在实际应用中，我们并，或者训练数据可能根本不包含缺失值。受屏蔽语言建模的启发，作者开发了。

2023-08-10 17:16:45 2672 1

原创论文笔记：DiffWave: A Versatile Diffusion Model for Audio Synthesis

以往的波形模型大多着眼于带有信息的局部调节器的音频合成任务，只有很少的一部分关注无条件生成；自回归模型（例如 WaveNet）倾向于在无条件情况下生成人造的类似单词的声音或劣质样本。扩散模型可以用一个没有可学习参数的扩散(加噪)过程从训练数据中获得"白化"的潜变量。因此，在训练中不需要引入额外的神经网络。这避免了由两个网络联合训练而产生的具有挑战性的"后向崩溃"或"模式崩溃"问题。

2023-08-10 16:50:14 2591 3

原创论文笔记：Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting

自注意力的思想是通过使用相应的查询键对查询其他token来更新每个令牌自己的值在该论文中中，作者提出了一种新的模型，称为ASTNN，用于交通预测的图结构时空建模。ASTNN是由堆叠的ST-Attention Block构建的，用于同时建模空间和时间相关性。作者使用局部多头自注意（L-MSA）来有效地计算时空图上的关注。此外，为了探索真实的空间相关性并提高局部时空注意力的性能，还引入了可学习自适应图，该图可以帮助目标节点选择相关节点进行关注。

2022-11-26 18:46:58 3623 2

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 论文笔记：【ICLR 2024】SPATIO-TEMPORAL FEW-SHOT LEARNING VIA DIFFUSIVE NEURAL NETWORK GEN

原创 论文笔记：CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

原创 论文笔记：DiffWave: A Versatile Diffusion Model for Audio Synthesis

原创 论文笔记：Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting

空空如也

空空如也

原创论文笔记：【ICLR 2024】SPATIO-TEMPORAL FEW-SHOT LEARNING VIA DIFFUSIVE NEURAL NETWORK GEN

原创论文笔记：CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

原创论文笔记：DiffWave: A Versatile Diffusion Model for Audio Synthesis

原创论文笔记：Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting