目录
什么是图网络?
图网络框架
图网络内容
图的定义
GN块的内部结构
图网络中的关系归纳偏置
什么是图网络?
图网络是2018年由DeepMind、谷歌大脑、MIT和爱丁堡大学等公司和机构的27位科学家共同发表的论文《Relational inductive biases, deep learning, and graph networks》中所提出的一个基于关系归纳偏置的AI概念。研究人员称,其推广并扩展了各种神经网络方法,并为操作结构化知识和生成结构化行为提供了新的思路。
图网络框架
图网络 (GN) 框架,它定义了一类函数,用于在图结构表示上进行关系推理。我们的 GN 框架概括和扩展了各种图形神经网络、MPNN 和 NLNN 方法,并支持从简单的构建块构建复杂的体系结构。
图网络内容
图网络 (GN) 框架,它定义了一类函数,用于在图结构表示上进行关系推理。我们的 GN 框架概括和扩展了各种图形神经网络、MPNN 和 NLNN 方法,并支持从简单的构建块构建复杂的体系结构。
有向边:单向的边,从一个 "发送者 "节点到一个 "接收者 "节点。
属性:可以被编码为矢量、集合、甚至另一个图的属性。
属性化:边和顶点具有与之关联的属性。 全局属性:图级属性。
多图:顶点之间可以有一条以上的边,包括自边(self-edge)。
图的定义
GN框架内,图被定义为一个3元组G=(u;V;E)。u是一个全局属性;V 是节点的集合,V = {vi}i=1:Nv,Nv为基数,其中每个 vi 是一个节点的属性。 E是边的集合, E = {(ek; rk; sk)}k=1:Ne ,Ne为基数,其中每个ek是边的属性,rk是接收节点的索引,sk是发送方节点的索引。
图网络中节点和边的性质与图结构相同,因此也可分为有向图(directed graph)和无向图(undirected graph)。
有向图,包括递归神经网络(Recursive Neural Network)和循环神经网络(Recurrent Neuural Network); 无向图,包括Hopfield神经网络、马尔可夫网络(Markov Network)等。
GN块的内部结构
GN block 包含三个更新函数和三个聚合函数
算法计算步骤示意图
GN块中的更新
图网络中的关系归纳偏置
首先,图可以表达实体之间的关系,实体与实体之间的关系是不确定的,也就是说GN的输入决定了实体节点之间是如何相互作用或相互独立的。两个实体之间有直接的联系,就用一个边连接起来表示;没有直接的联系,就没有边用来连接这两个实体。
其次,图将实体与实体之间的关系都用集合来表示,这意味着GN对这些元素的顺序的改变要具有不变性。
第三,GN的每条边和每个节点的函数分别在所有边和节点上重复使用。这意味着GN自动支持一种组合泛化,这是因为不管图有多少节点,节点之间的连接是怎样的,GN都能够处理。