自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 资源 (1)
  • 收藏
  • 关注

原创 2023 | RetNet:全新大模型基础架构,Transformer的继任者

文章引入了一种创新的网络结构,即RetNet。相对于传统的Transformer架构和多种变体,RetNet架构的优势是同时具备三个特点:训练可并行、推理成本低、具备良好的性能。

2023-09-12 23:19:20 1206 1

原创 【NeurIPS 2021】Luna: Linear Unified Nested Attention 线性统一嵌套注意力

该文章针对Transformer时间和空间复杂度高的问题,提出了一个线性统一嵌套注意力机制(Luna)。引入了一个额外的固定长度的序列作为输入,并产生一个额外的相应输出,使用两个嵌套注意力函数来近似Transformer中的常规softmax注意力,从而实现线性的时间和空间复杂度。与各种强大的基准模型相比,Luna实现了具有竞争力,甚至更好的性能。

2023-07-30 19:11:07 249 1

原创 【ACL 2019】超越固定长度上下文的注意力语言模型

在自然语言处理任务中,Transformer具备学习数据长期依赖的潜力,但是受到固定长度上下文的限制。为此,本文提出了一种新的神经网络架构Transformer-XL,该网络结构能够在不破坏时间一致性的情况下,学习到超越固定长度的依赖性。该架构包括一个片段级的循环机制和一个新的位置编码策略。该方法不仅能够捕获长期的依赖关系,还解决了上下文碎片化的问题。

2023-06-28 12:46:02 124 1

原创 【DALLE·2/unCLIP】基于CLIP的分层文本条件图像生成 Hierarchical Text-Conditional Image Generation with CLIP Latents

作者提出了一个两阶段的模型:前一阶段prior根据给定的文本描述,生成类似于CLIP的图像特征。作者在prior阶段尝试了自回归模型和扩散模型,发现使用扩散模型计算效率高且生成样本质量高。后一阶段decoder根据图像特征生成图像,在decoder阶段使用的同样是扩散模型。

2023-03-23 21:13:18 655

原创 【论文分享】用于多元时间序列的预训练增强的时空图神经网络

本文提出了一种新的框架,其中STGNN被一个可扩展的预训练时间序列框架(STEP)所增强。具体来说,作者设计了一个预训练模型TSFormer,以有效地从非常长期的历史时间序列(例如,过去两周的多元时间序列)中学习时间模式,并生成片段级的表示。这些表示为STGNNs的短期时间序列输入提供了上下文信息,并促进了时间序列之间的依赖关系建模。

2023-02-09 18:18:29 3369 1

原创 Self-Attentive Hawkes Process

本研究旨在通过设计一种Self-Attention的霍克斯过程(SAHP)探索自注意力在霍克斯过程中的有效性。SAHP采用Self-Attention来总结历史事件的影响并计算下一事件的概率。

2022-11-02 17:47:51 984

原创 图神经网络与图注意力网络相关知识概述

本期推送围绕图神经网络与图注意力网络相关知识进行概述。

2022-09-06 15:16:59 1472

原创 【AAAI】用于交通流预测的基于注意力的时空图卷积网络

对于交通领域的研究人员和从业者来说,预测交通流量是一个关键问题。然而,这是非常具有挑战性的,因为交通流通常表现出高度的非线性和复杂的模式。现有的交通流预测方法大多缺乏对交通数据动态时空相关性的建模能力,因此无法产生令人满意的预测结果。在本文中,作者提出了一种新的基于注意力的时空图卷积网络(ASTGCN)模型来解决交通流预测问题。ASTGCN主要由三个独立的组件组成,分别对交通流的三个时间属性进行建模,即“近期”、“日周期”和“周周期”依赖关系。更具体地说,每个组件包含两个主要部分G=(V,...

2022-07-20 17:57:05 1544

原创 【AAAI】用于网约车需求预测的时空多图卷积网络

区域级需求预测是网约车服务的一项重要任务。区域间具有复杂的时空依赖性,现有的方法主要侧重于对空间相邻区域之间的欧式相关关系进行建模,而作者发现,距离可能较远的区域之间的非欧式相关关系对于准确预测也至关重要。为此本文章提出了时空多图卷积网络(ST-MGCN)。首先将区域间的非欧式成对相关关系编码为多个图,然后利用多图卷积对这些相关关系进行建模。为了利用全局上下文信息对时间相关性进行建模,作者进一步提出了上下文门控循环神经网络,该网络利用上下文感知的门控机制对不同的历史观测值进行重新加权。......

2022-07-20 10:25:24 508

原创 win10快捷键【常用】桌面切换等快捷键

1.开启左右分屏快捷键将屏幕缩至一半:win+←/→缩至屏幕1/4:再按win+↑/↓2.显示所有应用程序win+tab3.切换桌面win+ctrl+←/→4.显示所有桌面打开的应用Alt+tab5.打开任务管理器Ctrl+Shift+Esc6.打开文件资源管理器win+E...

2022-01-11 15:28:03 1700

原创 【NeurIPS】神经成像时空回归模型的有效分层贝叶斯推理 Efficient Hierarchical Bayesian Inference

#NeurIPS #今天分享的是NeurIPS 2021的一篇论文《神经成像时空回归模型的有效分层贝叶斯推理》原文链接:https://arxiv.org/abs/2111.01692

2021-12-23 14:07:56 2344 1

java第三次作业-Employee类.rar

创建四个类,分别为Employee类、SalariedEmplyee类、HourlyEmployee类和CommissionEmployee类。其中Employee类是其他三个类的父类。Employee类包含姓名和身份证号。除此之外,SalariedEmployee类还应包含每月工资;HourlyEmployee类还应包含每小时工资数和工作时间数;CommissionEmployee还应包含提成比例和销售总额。每个类都应有合适的构造方法、数据成员的设置和读取方法。编写一个应用程序,创建这些类的对象,并输出与对象相关的信息。注意子类有时需调用父类的构造方法和被覆盖的方法,成员变量定义为private,对有些方法实现重载。

2021-04-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除