Multi-Graphs/Multi-Dimensional Edges: TensorGCN, ME-GCN

1. TensorGCN：

   • 图的构建：TensorGCN不同于构建单个全局语料库级别的图，它构建了三个独立的图：
   • 顺序图：应用点间互信息（PMI）值，类似于TextGCN。
   • 句法图：使用Stanford CoreNLP解析器，在单词之间建立具有更高依赖关系概率的边。
   • 语义图：从经过训练的长短时记忆（LSTM）模型中提取语义特征，并连接具有高相似度的单词。
   • 图的组合：这三个图共享相同的TF-IDF值用于单词-文档边，但单词-单词边具有不同的值。传播包括图内传播和图间传播。模型首先在三个图上分别应用GCN层作为图内传播。然后，将三个图上的相同节点视为虚拟图，再应用另一层GCN层作为图间传播。

用一句话来概括，如果用计算机网络来打比方，单词结点类似于中间设备，它们通过复杂的路由器、交换机等进行连接，将终端设备，即文档结点，连接起来。构建三个拓扑大致类似的计算机网络，只有中间设备连接不同。

在三个平行的计算机网络上，先进行消息的传播，然后每个垂直位置相应的终端即文档结点，构成vlan，将不同终端收集到的信息在vlan内进行重组，进行网络间的消息通信。

1. ME-GCN（Multi-dimensional Edge-Embedded GCN）：
   

2. 图的构建：ME-GCN旨在充分利用语料库信息并分析图中的丰富关系信息。它构建了一个包含多维单词-单词、单词-文档和文档-文档边的图。首先，在给定语料库上训练Word2vec和Doc2vec嵌入，然后使用训练嵌入的每个维度的相似性来构建多维边。训练嵌入还用作图节点的输入嵌入。在传播过程中，首先在每个维度上应用GCN，然后将不同维度上的表示要么连接起来，要么馈送到池化方法中以获取每个层的最终表示。

与上面类似，打个比方，该网络就类似于每条网线是双绞线甚至是多绞线，在每条线内进行消息传播。最后终端即文档结点将从不同网线获取的消息进行整合，用于下一步操作。

这两种模型都旨在利用文本数据中的语义和关系信息，以支持各种自然语言处理任务。TensorGCN强调语义、句法和顺序信息的整合，而ME-GCN关注多维嵌入和边的构建。它们都使用图神经网络（GCN）来进行信息传播和学习。