weixin_45378275的博客

文章引入了一种创新的网络结构，即RetNet。相对于传统的Transformer架构和多种变体，RetNet架构的优势是同时具备三个特点：训练可并行、推理成本低、具备良好的性能。

该文章针对Transformer时间和空间复杂度高的问题，提出了一个线性统一嵌套注意力机制（Luna）。引入了一个额外的固定长度的序列作为输入，并产生一个额外的相应输出，使用两个嵌套注意力函数来近似Transformer中的常规softmax注意力，从而实现线性的时间和空间复杂度。与各种强大的基准模型相比，Luna实现了具有竞争力，甚至更好的性能。

在自然语言处理任务中，Transformer具备学习数据长期依赖的潜力，但是受到固定长度上下文的限制。为此，本文提出了一种新的神经网络架构Transformer-XL，该网络结构能够在不破坏时间一致性的情况下，学习到超越固定长度的依赖性。该架构包括一个片段级的循环机制和一个新的位置编码策略。该方法不仅能够捕获长期的依赖关系，还解决了上下文碎片化的问题。

作者提出了一个两阶段的模型：前一阶段prior根据给定的文本描述，生成类似于CLIP的图像特征。作者在prior阶段尝试了自回归模型和扩散模型，发现使用扩散模型计算效率高且生成样本质量高。后一阶段decoder根据图像特征生成图像，在decoder阶段使用的同样是扩散模型。

本文提出了一种新的框架，其中STGNN被一个可扩展的预训练时间序列框架（STEP）所增强。具体来说，作者设计了一个预训练模型TSFormer，以有效地从非常长期的历史时间序列（例如，过去两周的多元时间序列）中学习时间模式，并生成片段级的表示。这些表示为STGNNs的短期时间序列输入提供了上下文信息，并促进了时间序列之间的依赖关系建模。

本研究旨在通过设计一种Self-Attention的霍克斯过程（SAHP）探索自注意力在霍克斯过程中的有效性。SAHP采用Self-Attention来总结历史事件的影响并计算下一事件的概率。

本期推送围绕图神经网络与图注意力网络相关知识进行概述。

对于交通领域的研究人员和从业者来说，预测交通流量是一个关键问题。然而，这是非常具有挑战性的，因为交通流通常表现出高度的非线性和复杂的模式。现有的交通流预测方法大多缺乏对交通数据动态时空相关性的建模能力，因此无法产生令人满意的预测结果。在本文中，作者提出了一种新的基于注意力的时空图卷积网络（ASTGCN）模型来解决交通流预测问题。ASTGCN主要由三个独立的组件组成，分别对交通流的三个时间属性进行建模，即“近期”、“日周期”和“周周期”依赖关系。更具体地说，每个组件包含两个主要部分G=(V,...

区域级需求预测是网约车服务的一项重要任务。区域间具有复杂的时空依赖性，现有的方法主要侧重于对空间相邻区域之间的欧式相关关系进行建模，而作者发现，距离可能较远的区域之间的非欧式相关关系对于准确预测也至关重要。为此本文章提出了时空多图卷积网络(ST-MGCN)。首先将区域间的非欧式成对相关关系编码为多个图，然后利用多图卷积对这些相关关系进行建模。为了利用全局上下文信息对时间相关性进行建模，作者进一步提出了上下文门控循环神经网络，该网络利用上下文感知的门控机制对不同的历史观测值进行重新加权。......

1.开启左右分屏快捷键将屏幕缩至一半：win+←/→缩至屏幕1/4：再按win+↑/↓2.显示所有应用程序win+tab3.切换桌面win+ctrl+←/→4.显示所有桌面打开的应用Alt+tab5.打开任务管理器Ctrl+Shift+Esc6.打开文件资源管理器win+E...

#NeurIPS #今天分享的是NeurIPS 2021的一篇论文《神经成像时空回归模型的有效分层贝叶斯推理》原文链接：https://arxiv.org/abs/2111.01692