Message Passing Attention Networks for Document Understanding

 Message Passing Attention Networks for Document Understanding
 https://github.com/giannisnik/mpad.

1.Motivation

将MP（message passing）架构应用于文本表示学习。

2 Message Passing Neural Networks

对于一个图$G$=（$V$,$E$）,考虑节点$v$∈$V$，在$t$$+$$1$时刻，一个massage 向量由节点$v$的邻居计算得出：

然后，通过将其当前特征向量$h$${}^t$${}_v$与消息向量$m$${}^t$${}^{+}$${}^1$${}_v$相结合来计算节点$v$的新表示$h$${}^t$${}^{+}$${}^1$${}_v$:

消息按时间步长传递。每一步都由MP的不同层实现。因此，迭代对应于网络深度。最终的特征向量$h$${}^T$${}_v$是基于从以$v$为根高度为$T$的子树中的所有节点的消息传播。

如果需要图级特征向量，例如用于分类或回归，则应使用必须对排列不变的$R$$E$$A$$D$