论文笔记:Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting

NIPS 2020

1 abstract & intro

  • 当前的大多数深度学习方法基于共享参数设计模型
    • 不同节点对应同一套参数
    • 但是,由于每条道路的具体情况不一样,使用同一套参数无法捕捉细粒度的数据模式
    • ——>这篇论文设计了节点自适应参数学习(NAPL)模块,分解传统GCN中的参数,每个节点有自己的一套参数
  • 当前模型大多使用邻接矩阵来预定义一个图,以捕捉空间相关性
    • 这个图不一定能完整地表示空间依赖性‘
    • ——>这篇论文设计了数据自适应图生成(DAGG)模块,自动推断不同序列之间的相互依赖关系
  • 这篇论文提出一种自适应图卷积递归网络(AGCRN),基于节点自适应参数学习(NAPL)模块、数据自适应图生成(DAGG)模块这两个模块和RNN架构,自动捕获交通序列的细粒度时空关联。

2 问题定义

  • N个节点在t个时刻的时间序列可以表示为\mathcal{X}=\left\{\boldsymbol{X}_{:, 0}, \boldsymbol{X}_{:, 1}, \ldots, \boldsymbol{X}_{:, t}, \ldots\right\}
    • 其中\boldsymbol{X}_{\mathrm{r}, \mathrm{t}}=\left\{\mathrm{x}_{1, \mathrm{t}}, \mathrm{x}_{2, \mathrm{t}}, \ldots, \mathrm{x}_{\mathrm{i}, \mathrm{t}}, \ldots \mathrm{x}_{\mathrm{N}, \mathrm{t}}\right\}^{\mathrm{T}} \in \mathrm{R}^{\mathrm{N} \times 1}
  • N个节点构成图\mathcal{G}=(\mathcal{V}, \mathcal{E}, \boldsymbol{A})
  • 问题的目标是学习一个预测函数F_\theta,使得:
    • \left\{\boldsymbol{X}_{:, t+1}, \boldsymbol{X}_{:, t+2}, \ldots, \boldsymbol{X}_{:, t+\boldsymbol{\tau}}\right\}=\mathcal{F}_{\boldsymbol{\theta}}\left(\boldsymbol{X}_{:, t}, \boldsymbol{X}_{:, t-1}, \ldots, \boldsymbol{X}_{:, t-\boldsymbol{T}+1} ; \mathcal{G}\right)

3 模型部分

3.1 节点自适应参数学习(NAPL)模块

  • 论文采用Kipf GCN的计算方式
    • \mathrm{Z}=\left(\boldsymbol{I}_{\boldsymbol{N}}+\boldsymbol{D}^{-\frac{1}{2}} \boldsymbol{A} \boldsymbol{D}^{-\frac{1}{2}}\right) \boldsymbol{X} \boldsymbol{\Theta}+\mathbf{b}
      • 其中A \in R^{N \times N}, \mathrm{X} \in \mathrm{R}^{\mathrm{N} \times \mathrm{C}},\Theta \in \mathrm{R}^{\mathrm{C} \times \mathrm{F}},\mathrm{Z} \in \mathrm{R}^{\mathrm{N} \times \mathrm{F}}
      • 不难发现,所有的节点都是用共同的一套参数\Theta \in \mathrm{R}^{\mathrm{C} \times \mathrm{F}} 建模的
      • 但是,由于每条道路的具体情况不一样,使用同一套参数可能无法捕捉细粒度的数据模式
    • 一种最直接的改进想法是,令\Theta \in R^{N \times C \times F},也即每个节点一套参数
      • 但这样的设计带来的问题是,N较大得到时候,参数量过大
    • 论文中的改进方向是矩阵分解
      • \bg_white \mathrm{E}_{\mathrm{G}} \in \mathrm{R}^{\mathrm{N} \times \mathrm{d}}, \mathrm{W}_{\mathrm{G}} \in \mathrm{R}^{\mathrm{d} \times \mathrm{C} \times \mathrm{F}},\mathrm{b}_{\mathcal{G}} \in r^{d \times F}
      • 此时GCN变成\mathrm{Z}=\left(\mathrm{I}_{\mathrm{N}}+\mathrm{D}^{-\frac{1}{2}} \mathrm{AD}^{-\frac{1}{2}}\right) \mathrm{XE}_{\mathcal{G}} \mathrm{W}_{\mathcal{G}}+\mathrm{E}_{\mathcal{G}} \mathrm{b}_{\mathcal{G}}

3.2 数据自适应图生成(DAGG)模块

  • D^{-\frac{1}{2}} \boldsymbol{A} D^{-\frac{1}{2}}=\operatorname{softmax}\left(\operatorname{ReL} \mathrm{U}\left(\boldsymbol{E}_A \cdot \boldsymbol{E}_A^T\right)\right)
  • 那么此时GCN进一步变成:
    • \mathrm{Z}=\left(\mathrm{I}_{\mathrm{N}}+\operatorname{softmax}\left(\operatorname{ReL} \mathrm{U}\left(\boldsymbol{E}_A \cdot \boldsymbol{E}_A^T\right)\right)\right) \mathrm{XE}_{\mathcal{G}} \mathrm{W}_{\mathcal{G}}+\mathrm{E}_{\mathcal{G}} \mathrm{b}_{\mathcal{G}}

3.3 自适应图卷积递归网络(AGCRN)

  • 将GRU中的MLP换成3.1和3.2的两个新模块

 4 实验部分

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值