【2019/ICML】DAG-GNN: DAG Structure Learning with Graph Neural Networks

---

原文链接：https://dreamhomes.github.io/posts/202101041501.html

---

文章链接：https://arxiv.org/abs/1904.10098
源码链接：https://github.com/fishmoon1234/DAG-GNN

TL;DR

论文中提出一种新的DAG编码架构 DAG-GNN，其实模型的本质就是一个图变分自编码器，模型的优点是既能处理连续型变量又能处理离散型变量；在人工数据集和真实数据集中验证了模型结果可以达到全局最优 🤔；

Model / Algorithm

论文中的整体模型架构如下：

Linear Structural Equation Model

论文中首先通过生成模型来泛化线性结构等价模型；假设 $A\in {\mathbb{R}}^{m\times m}$ 表示DAG的加权邻接矩阵，$X\in {\mathbb{R}}^{m\times d}$ 表示每个节点的特征，那么线性模型的的编码方式为：
$$X=A^{T}X+Z(1)$$
其中 $Z\in {\mathbb{R}}^{m\times d}$ 表示噪声矩阵；如果图中节点是以拓扑序排列的，那么矩阵 $A$ 是一个严格的上三角矩阵，因此DAG中的 ancestral sampling 等价于三角等式的解：
$$X={\left(I-A^T\right)}^{-1}Z(2)$$

Proposed Graph Neural Network Model

上述等式 (2) 可以写为 $X=f_A(Z)$，可以表示为数据节点特征 $Z$ 并得到embedding $X$。传统的GCN 架构计算公式如下：
$$X=\hat{A}\cdot \mathrm{ReLU}\left(\hat{A}Z{W}^1\right)\cdot W^2$$
由于公式 (2) 的特殊结构，因此提出新的图神经网络架构，注意这是解码器的结构：
$$X=f_2\left({\left(I-A^T\right)}^{-1}{f}_1(Z)\right)(3)$$

其中 $f_1,f_2$ 表示 $Z,X$ 的非线性的转换函数；

Model Learning with Variational Autoencoder

对于给定的分布 $Z$ 和样本 $X^1,\cdots ,X^n$，生成模型的目标是最大化对数函数：
$$\frac{1}{n}\sum _{k=1}^n\log p\left(X^k\right)=\frac{1}{n}\sum _{k=1}^n\log \int p\left(X^k\mid Z\right)p(Z)dZ$$
由于上式难以解决因此使用变分贝叶斯；

使用变分后验概率 $q(Z|X)$ 来近似实际后验概率 $q(Z|X)$。网络优化的结果是 ELBO（the evidence lower bound）
$$L_{\mathrm{E}\mathrm{L}\mathrm{B}\mathrm{O}}=\frac{1}{n}\sum _{k=1}^n{L}_{\mathrm{E}\mathrm{L}\mathrm{B}\mathrm{O}}^k$$
其中
$$\begin{array}{r}{L}_{\mathrm{E}\mathrm{L}\mathrm{B}\mathrm{O}}^k\equiv -D_{\mathrm{K}\mathrm{L}}\left(q\left(Z\mid X^k\right)\Vert p(Z)\right)\\ +{\mathrm{E}}_{q\left(Z\mid X^k\right)}\left[\log p\left(X^k\mid Z\right)\right]\end{array}$$

基于 （3）式的解码器结构，对应的编码器结构为
$$Z=f_4\left(\left(I-A^T\right)f_3(X)\right)(5)$$
其中 $f_4,f_3$ 表示 $f_2,f_1$ 的逆函数。

Loss Function

对于编码器，使用MLP表示 $f_3$和恒等映射表示 $f_4$，变分后验概率 $q(Z|X)$ 是一个因子高斯分布均值$M_Z\in {\mathbb{R}}^{m\times d}$ 标准差 $S_Z\in {\mathbb{R}}^{m\times d}$，可以通过编码器来进行计算：
$$\left[M_Z\mid \log S_Z\right]=\left(I-A^T\right)\mathrm{MLP}\left(X,W^1,W^2\right)(6)$$
其中 $\mathrm{MLP}\left(X,W^1,W^2\right):=\mathrm{ReLU}\left(X{W}^1\right)W^2$。

对于生成模型，使用恒等映射表示 $f_1$ MLP来表示 $f_2$，得到的似然 $p(X|Z)$ 符合高斯分布均值为 $M_X\in {\mathbb{R}}^{m\times d}$ 标准差为$S_X\in {\mathbb{R}}^{m\times d}$，解码器的计算公式如下：
$$\left[M_X\mid \log S_X\right]=\mathrm{MLP}\left({\left(I-A^T\right)}^{-1}Z,W^3,W^4\right)(7)$$

基于公式（6）（7），式（4）中的KL散度项为：
$$\begin{array}{l}{D}_{\mathrm{K}\mathrm{L}}(q(Z\mid X)\Vert p(Z))=\\ \\ \frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^d{\left(S_Z\right)}_{ij}^2+{\left(M_Z\right)}_{ij}^2-2\log {\left(S_Z\right)}_{ij}-1\end{array}$$
重构准确率项为：
$$\begin{array}{c}{\mathrm{E}}_{q(Z\mid X)}[\log p(X\mid Z)]\approx \\ \\ \frac{1}{L}{\sum }_{l=1}^L{\sum }_{i=1}^m{\sum }_{j=1}^d-\frac{{\left(X_{ij}-{\left(M_X^{(l)}\right)}_{ij}\right)}^2}{2{\left(S_X^{(l)}\right)}_{ij}^2}-\log {\left(S_X^{(l)}\right)}_{ij}-c\end{array}$$
对于不同类型变量的处理论文中使用了不同的结构，详细参考原文推导过程。

Experiments

人工数据集