Relating Graph Neural Networks to Structural Causal Models

研究问题

论文从第一性原理出发推导了GNN和SCM之间的理论联系，并基于GNN定义了一种新的神经因果模型类

背景知识

• 变分推断

假设X为观察到的变量，Z为隐藏变量，变分推断的目标即后验分布p(Z|X)。首先需要提出一族关于隐藏变量的近似概率分布Q，从这一族分布中找到一个与真实的后验分布的KL Divergence最小的分布，即

$q^{\ast }(Z)=\arg {\min }_{q\in \mathcal{Q}}\mathrm{K}\mathrm{L}(q(\mathbf{Z})\Vert p(\mathbf{Z}\mid \mathbf{X}))$

根据贝叶斯准则，$p(\mathbf{Z}|\mathbf{X})=\frac{p(\mathbf{X},\mathbf{Z})}{p(\mathbf{X})}$，边缘化隐藏变量后可得$p(\mathbf{X})=\int p(\mathbf{X},\mathbf{Z})d\mathbf{Z}$

上式满足如下关系，等式右边即为ELBO（第一项是个期望项，它促使模型将它的隐藏变量集中于可以解释观察量的配置上，第二项是隐藏变量变分分布与先验分布的KL divergence的相反数，它促使变分分布接近于先验分布，所以变分模型的目标函数是似然率与先验分布的一种平衡）：

$\begin{array}{r}\log p(\mathbf{X})-\mathrm{KL}(q(\mathbf{Z})\Vert p(\mathbf{Z}\mid \mathbf{X}))={\mathbb{E}}_q[\log p(\mathbf{X}\mid \mathbf{Z})]-\mathrm{KL}(q(\mathbf{Z})\Vert p(\mathbf{Z}))\end{array}$

使用变分自编码器模型参数化$p_{\mathbf{\varphi }}(\mathbf{X}\mid \mathbf{Z})$和$q(\mathbf{Z}):=q_{\mathbf{\theta }}(\mathbf{Z}\mid \mathbf{X})$

通过使用重要采样的技巧，可得$p(\mathbf{X})\approx \frac{1}{n}{\sum }_{i=1}^n\frac{p_{\mathbf{\varphi }}\left(\mathbf{X}\mid {\mathbf{z}}_i\right)p\left({\mathbf{z}}_i\right)}{q_{\mathbf{\theta }}\left({\mathbf{z}}_i\mid \mathbf{X}\right)}$

• 图神经网络

一个GNN层将$f\left(\mathbf{D},{\mathbf{A}}_G\right)$将变量 { d i } i = 1 n D ∈ R d × n \left\{\mathbf{d}_{i}\right\}_{i=1}^{n} \mathbf{D} \in R^{d \times n} {di​}i=1n​D∈Rd×n和邻接矩阵${\mathbf{A}}_G\in [0,1{]}^{d\times d}$作为输入，其更新图表示的过程可以定义为${\mathbf{h}}_i=\varphi \left({\mathbf{d}}_i,{⨁}_{j\in {\mathcal{N}}_i^G}\psi \left({\mathbf{d}}_i,{\mathbf{d}}_j\right)\right)$

• 因果推断

一个结构因果模型SCM可以定义为$\mathfrak{C}:=(\mathbf{S},P(\mathbf{U}))$，其中$P(\mathbf{U})$是外生未建模变量的乘积分布，S定义为d组结构方程的集合，结构方程表示如下，

$V_i:=f_i\left(\mathrm{pa}\left(V_i\right),U_i\right),\text{ where }i=1,\dots ,d$

其中$pa(V_i)$是变量$V_i$在因果图$G(\mathfrak{C})$上的父节点

$\mathfrak{C}$上的干预$do(\mathbf{W}),\mathbf{W}\subset \mathbf{V}$定义为用新的非参数函数$g\mathbf{W}$替换$\mathbf{W}$，从而得到新的SCM即${\mathfrak{C}}_2:={\mathfrak{C}}^{\mathbf{d}o\left(\mathbf{W}=g_{\mathbf{W}}\right)}$，干预的一个重要属性是局部性，即

$p^{{\mathfrak{C}}_1}\left(V_i\mid \mathrm{p}\mathrm{a}\left(V_i\right)\right)=p^{{\mathfrak{C}}_2}\left(V_i\mid \mathrm{p}\mathrm{a}\left(V_i\right)\right)$

GNN-SCM-NCM间的关系

• GNN上的干预

干预$f\left(\mathbf{D},{\mathbf{A}}_G\mid do(\mathbf{X}=\mathbf{x})\right)$定义为一组修改后的层计算方式

${\mathbf{h}}_i=\varphi \left({\mathbf{d}}_i,{⨁}_{j\in {\mathcal{M}}_i^G}\psi \left({\mathbf{d}}_i,{\mathbf{d}}_j\right)\right)$

和原来图卷积的计算公式相比，这里的改动是对邻居进行了重新定义，其实就是去除了变量在因果图上的父节点

${\mathcal{M}}_i^G=\left\{j\mid j\in {\mathcal{N}}_i^G,j\notin {\mathrm{p}\mathrm{a}}_i⟺i\in \mathbf{X}\right\}$

如上图所示，对Y进行干预时，就要敲除其在因果图上的父节点的连接

• 任意结构方程都可以用GNN来描述

• 上述GNN可以看成是神经因果模型的一种特殊情况

下图是对上面定理的进一步解释，图(a)把结构方程分解成标量相关的方程，与图©相对应，揭示了GNN和SCM的等价性，图(b)显示了两种不同粒度的NCM

基于GNN的因果推理

• 根据SCM构建GNN

这个还是很直白的，就是直接用因果图作为图邻接矩阵。

• 再重复一下干预等价

• 变分图自编码器可逼近任意密度分布，并对其进行干预操作

• 结合变分推断和VGAE做因果推理

实验

• 因果效应估计与识别

在模拟数据集上执行干预任务，发现因果效应

• 因果密度估计