图机器学习基础知识——GRN

GRN（Graph Recurrent Network）

循环图神经网络

• 与GCN相比

  • GRN在不同层之间使用相同的参数，这使得参数能够逐步收敛

  • GCN在不同层之间使用不同的参数，从而能够提取不同尺度的特征

GGNN（Gated Graph Neural Network）

Paper : Gated graph sequence neural networks

门控图神经网络（使用了GRU）

$${\mathbf{a}}_{\mathbf{v}}^{\mathbf{t}}={\mathbf{A}}_{\mathbf{v}}^{\mathbf{T}}[{\mathbf{h}}_1^{\mathbf{t}-1}...{\mathbf{h}}_{\mathbf{N}}^{\mathbf{t}-1}{]}^{\mathbf{T}}+\mathbf{b}$$

$${\mathbf{z}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{z}}{\mathbf{a}}_{\mathbf{v}}^{\mathbf{t}}+{\mathbf{U}}^{\mathbf{z}}{\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}-1})$$

$${\mathbf{r}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{r}}{\mathbf{a}}_{\mathbf{v}}^{\mathbf{t}}+{\mathbf{U}}^{\mathbf{r}}{\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}-1})$$

$${\tilde{\mathbf{h}}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{tanh}(\mathbf{W}{\mathbf{a}}_{\mathbf{v}}^{\mathbf{t}}+\mathbf{U}({\mathbf{r}}_{\mathbf{v}}^{\mathbf{t}}\odot {\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}-1}))$$

$${\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}}=(1-{\mathbf{z}}_{\mathbf{v}}^{\mathbf{t}})\odot {\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}-1}+{\mathbf{z}}_{\mathbf{v}}^{\mathbf{t}}\odot {\tilde{\mathbf{h}}}_{\mathbf{v}}^{\mathbf{t}}$$

• 节点$v$首先聚合其相邻节点的信息，其中$A_v$是图邻接矩阵A的子矩阵，表示节点$v$与相邻节点的连接情况。类似GRU的更新函数使用来自每个节点的领域信息以及上一个时间步的信息更新节点的隐状态。向量$a$聚合节点$v$的领域信息，$z$和$r$分别是更新门和重置门，$\odot$是阿达马积

• 在GGNN的基础上进一步提出了GGS-NN

  • 使用多个GGNN来输出序列$o^{(1)}...o^{(K)}$

  • 在第K个输出步，节点特征矩阵记为X^{(k)}

  

  • 上图架构使用了两个GGNN

    • $F_o^{(k)}$用于从$X^{(k)}$中预测$o^{(k)}$

    • $F_x^{(k)}$用于从$X^{(k)}$中预测$X^{(k+1)}$

  • 我们使用$H^{(k,t)}$表示第k输出步的第t轮传播的隐状态。在每个输出步中，$H^{(k,1)}$都会用$X^{(k)}$来初始化。$F_o^{(k)}$和$F_x^{(k)}$既可以是不同的模型，也可以共享权重参数

• GGNN模型被用于bAbI（Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks）任务，以及程序验证任务

Tree-LSTM

Tree-LSTM

• Tree-LSTM分为两类

  • Child-Sum Tree-LSTM

  • N-ary Tree-LSTM

• 与标准LSTM单元一样，每个Tree-LSTM（由$v$索引）都包含输入门$i_v$、输出门$o_v$、存储单元$c_v$和隐状态$h_v$。标准LSTM单元使用单个遗忘门，Tree-LSTM单元则具有多个遗忘门，对每个子节点$k$使用遗忘门$f_{vk}$，从而使节点$v$能够聚合来自其子节点的信息。Child-Sum Tree-LSTM的传播公式如下：

$${\tilde{\mathbf{h}}}_{\mathbf{v}}^{\mathbf{t}-1}=\sum _{\mathbf{k}\in {\mathbf{N}}_{\mathbf{v}}}{\mathbf{h}}_{\mathbf{k}}^{\mathbf{t}-1}$$

$${\mathbf{i}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{i}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+{\mathbf{U}}^{\mathbf{i}}{\tilde{\mathbf{h}}}_{\mathbf{v}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{i}})$$

$${\mathbf{f}}_{\mathbf{vk}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{f}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+{\mathbf{U}}^{\mathbf{f}}{\tilde{\mathbf{h}}}_{\mathbf{k}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{f}})$$

$${\mathbf{o}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{o}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+{\mathbf{U}}^{\mathbf{o}}{\tilde{\mathbf{h}}}_{\mathbf{v}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{o}})$$

$${\mathbf{u}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{tanh}({\mathbf{W}}^{\mathbf{u}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+{\mathbf{U}}^{\mathbf{u}}{\tilde{\mathbf{h}}}_{\mathbf{v}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{u}})$$

$${\mathbf{c}}_{\mathbf{v}}^{\mathbf{t}}={\mathbf{i}}_{\mathbf{v}}^{\mathbf{t}}\odot {\mathbf{u}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{k}\in {\mathbf{N}}_{\mathbf{v}}}{\mathbf{f}}_{\mathbf{vk}}^{\mathbf{t}}\odot {\mathbf{c}}_{\mathbf{k}}^{\mathbf{t}-1}$$

$${\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}}={\mathbf{o}}_{\mathbf{v}}^{\mathbf{t}}\odot \mathbf{tanh}({\mathbf{c}}_{\mathbf{v}}^{\mathbf{t}})$$
其中，$x_v^t$是在标准的LSTM设置下t时间步的输入向量

• 如果树中每个节点的子节点数最多为K，并且这些子节点可以排序，则可以应用N-ary Tree-LSTM。对于节点$v$，$h_{vk}^t$和$c_{vk}^t$分别表示其在时间t的第k个子节点的隐状态和存储单元，转换方程如下：

$${\mathbf{i}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{i}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{l}=1}^{\mathbf{K}}{\mathbf{U}}_{\mathbf{l}}^{\mathbf{i}}{\mathbf{h}}_{\mathbf{vl}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{i}})$$

$${\mathbf{f}}_{\mathbf{vk}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{f}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{l}=1}^{\mathbf{K}}{\mathbf{U}}_{\mathbf{kl}}^{\mathbf{f}}{\mathbf{h}}_{\mathbf{vl}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{f}})$$

$${\mathbf{o}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{o}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{l}=1}^{\mathbf{K}}{\mathbf{U}}_{\mathbf{l}}^{\mathbf{o}}{\mathbf{h}}_{\mathbf{vl}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{o}})$$

$${\mathbf{u}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{tanh}({\mathbf{W}}^{\mathbf{u}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{l}=1}^{\mathbf{K}}{\mathbf{U}}_{\mathbf{l}}^{\mathbf{u}}{\mathbf{h}}_{\mathbf{vl}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{u}})$$

$${\mathbf{c}}_{\mathbf{v}}^{\mathbf{t}}={\mathbf{i}}_{\mathbf{v}}^{\mathbf{t}}\odot {\mathbf{u}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{l}=1}^{\mathbf{K}}{\mathbf{f}}_{\mathbf{vl}}^{\mathbf{t}}\odot {\mathbf{c}}_{\mathbf{vl}}^{\mathbf{t}-1}$$

$${\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}}={\mathbf{o}}_{\mathbf{v}}^{\mathbf{t}}\odot \mathbf{tanh}({\mathbf{c}}_{\mathbf{v}}^{\mathbf{t}})$$

• 与Child-Sum Tree-LSTM不同，N-ary Tree-LSTM为每个子节点引入了单独的参数矩阵，这使模型能够基于每个节点的子节点信息，为每个节点得到更细粒度的表示

Graph-LSTM

Graph-LSTM（这部分模型变体较多，详见Google）

$${\mathbf{i}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{i}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{k}\in {\mathbf{N}}_{\mathbf{v}}}{\mathbf{U}}_{\mathbf{m}(\mathbf{v},\mathbf{k})}^{\mathbf{i}}{\mathbf{h}}_{\mathbf{k}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{i}})$$

$${\mathbf{f}}_{\mathbf{vk}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{f}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+{\mathbf{U}}_{\mathbf{m}(\mathbf{v},\mathbf{k})}^{\mathbf{f}}{\mathbf{h}}_{\mathbf{k}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{f}})$$

$${\mathbf{o}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{o}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{k}\in {\mathbf{N}}_{\mathbf{v}}}{\mathbf{U}}_{\mathbf{m}(\mathbf{v},\mathbf{k})}^{\mathbf{o}}{\mathbf{h}}_{\mathbf{k}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{o}})$$

$${\mathbf{u}}_{\mathbf{v}}^{\mathbf{t}}=\mathbf{tanh}({\mathbf{W}}^{\mathbf{u}}{\mathbf{x}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{k}\in {\mathbf{N}}_{\mathbf{v}}}{\mathbf{U}}_{\mathbf{m}(\mathbf{v},\mathbf{k})}^{\mathbf{u}}{\mathbf{h}}_{\mathbf{k}}^{\mathbf{t}-1}+{\mathbf{b}}^{\mathbf{u}})$$

$${\mathbf{c}}_{\mathbf{v}}^{\mathbf{t}}={\mathbf{i}}_{\mathbf{v}}^{\mathbf{t}}\odot {\mathbf{u}}_{\mathbf{v}}^{\mathbf{t}}+\sum _{\mathbf{k}\in {\mathbf{N}}_{\mathbf{v}}}{\mathbf{f}}_{\mathbf{vk}}^{\mathbf{t}}\odot {\mathbf{c}}_{\mathbf{k}}^{\mathbf{t}-1}$$

$${\mathbf{h}}_{\mathbf{v}}^{\mathbf{t}}={\mathbf{o}}_{\mathbf{v}}^{\mathbf{t}}\odot \mathbf{tanh}({\mathbf{c}}_{\mathbf{v}}^{\mathbf{t}})$$
其中$m(v,k)$表示节点$v$和$k$之间的边的标签

S-LSTM（Sentence-LSTM）

Paper : Sentence-State LSTM for Text Representation

S-LSTM

• 用于解决NLP相关任务，讲文本转换为图结构，并用LSTM学习相应表示

• S-LSTM将每个单词视为图中的一个节点，并添加了一个超节点。对于每一层，单词节点可以聚合来自其相邻单词以及超节点的信息。超节点可以聚合它自身的信息以及来自所有单词节点的信息。

  • 超节点可以提供全局信息解决长距离依赖问题，单词节点则可以根据其相邻单词建模上下文信息。这样一来，每个单词都可以获取足够的信息并对局部信息和全局信息进行建模

  • S-LSTM可用于许多NLP任务。单词节点的隐状态可以解决Token-Level的问题，而超节点的隐状态可以解决Sentence-Level的问题

  • S-LSTM胜过了Transformer