【注意力机制实例】GeoMAN(一)论文阅读

GeoMAN是一种基于多层次注意力的递归神经网络,用于预测地理传感器的未来读数,考虑了多传感器数据、气象信息和空间数据。模型包含多级注意力机制以捕捉动态时空依赖,并通过通用融合模块整合外部因素,如气象条件。主要应用于空气质量与水质量预测。实验表明,GeoMAN在预测任务中表现出色,验证了注意力机制和外部因素融合的有效性。
摘要由CSDN通过智能技术生成

GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction

摘要:使用一个考虑多传感器读数、气象数据和空间数据的,基于多层次注意的递归神经网络,预测未来几个小时内的地理传感器读数。模型包括两个方面,1) 一种动态时空依赖模型的多级注意力机制 2)一种融合不同领域外部因素的通用融合模块。主要应用在空气质量和水质量的预测。

引言

预测时空传感器读数的困难在于:

1、动态时空相关性

多个传感器——不同传感器的空间关系是动态的;空间传感器读数时间序列随位置的变化呈非线性变化

单个传感器——读数经常呈周期性变化,其随时空的变化而不同;读数具有突变性

2、外部因素影响如气象、土地利用情况等等

主要贡献:多级注意力机制;融合外部因素机制;

模型

主要是一个Encoder-Decoder模型,encoder中空间局部和全局的attention层用来传感器读数序列,随后得到的预测值再通过decoder中的时间attention层进行处理。

标记方法:

Ng 个传感器,每一个传感器都产生 种时间序列(可以理解为测量了 种观测值),设定其中一种为目标观测值,其他为特征值。

设置一个长度为 T 的时间周期,则表示所有传感器目标观测值在T时段的读数

表示所有传感器目标特征值在T时段的读数。x^{i,k} 是特征空间角度的描述,即第 i 个传感器的第 k 个local特征向量的时间序列;

  • 2
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值