之前在做下游应用的时候对比了使用本文提出的无环有向图模型的论文《Directed Acyclic Graph Network for Conversational Emotion Recognition》,因此反过来再读一下模型原文。还是老规矩,ICLR论文具有太多算法证明,所以只看一些关键的推导。
ABSTRACT
在本文中,我们关注一种特殊的,但广泛使用的图的类型DAG(DIRECTED ACYCLIC GRAPH无环有向图),并将一种更强的感应偏序注入神经网络设计(其实就是使用偏序去定义节点之间的先后顺序)。我们提出了一种有向无环图神经网络DAGNN,它是一种根据部分顺序定义的流程来处理信息的体系结构。DAGNN可以被认为是一个框架,它需要在特殊情况下进行早期工作(例如,树的模型和模型经常更新节点表示),但我们确定了几个以前的架构所缺乏的关键组件。我们对具有代表性的DAG数据集(即源代码、神经架构和概率图形模型)进行了全面的实验,包括消融研究,并证明了DAGNN相对于简单的DAG架构和一般图形架构的优越性。
INTRODUCTION
首先,为了方便介绍本文提出的工作,将图神经网络的更新过程定义为消息传递(MPNN)的机制:
一般的GNNÿ