【论文笔记】通过自注意力机制的动态图表示

本专题的论文笔记基本作为草稿记录，好方便查阅，可能没有那么详细。
论文地址1
论文地址2

模型结构

主要分为两个部分，structural and temporal self-attention layers。
使用muliti-head attentions to improve model capacity and stability。

结构化模块提取领域邻居信息节点来作为输入表示到时间模块。时间模块来捕获时间变化。

1. STRUCTURAL SELF-ATTENTION
   输入为节点表示集合，$x_v\in R^D$,D为输入embedding维度，采用one-hot编码。输出为心得节点表示。$z_v\in R^F$,F维度得到了局部结构特性。
   结构化注意力层是GAT的变体，用于每个快照上。
   
   权重向量参数作为注意力函数的前馈层，||是concatenation操作，$A_{uv}$是连接uv的权重。
2. TEMPORAL SELF-ATTENTION
   输入为特定节点再不同时间的序列表示。
   输出为新的表示序列$z_v$,再通过两个矩阵$X_v\in R^{T\times R^{{}^{\prime }}},Z_v\in R^{T\times F^{{}^{\prime }}}$将输入和输出打包。本模块就是来捕捉图结构在时间上的变化。
   
3. MULTI-HEAD ATTENTION
   
4. DYSAT ARCHITECTURE
   整个体系架构有三个模块
   (1) structural attention block, (2) temporal attention block, and (3) graph context prediction.
   1)

3目标函数，它在多个时间步骤中保留节点周围的局部结构