Graph Contrastive Learning via Interventional View Generation

发表于:WWW24
推荐指数: #paper/⭐⭐

框架与动机:

整体框架

动机:

如上四个:
b.HLCL 生成随机增强视图,并分别用高通过滤器和低通过滤器过滤
c.生成同配异配视图,都用低通过滤器
d.生成同配视图异配视图,同配视图用低通过滤器,异配视图用高通过滤器
通过图d,我们可以得出:d>c>b>a

流程:

1.视图生成模块
2.双对比学习编码模块.

具体流程

因果模型

我们利用反事实因果干涉取找到干涉和结果的因果关系通过问一个问题:图结构会因为干涉变得困难而改变吗?我们假设我们观测到的关系如图三所示,给定环境条件,我们干涉,和相应的输出,反事实干涉方法目标去找到影响结果的干涉.这里,节点$v_i$和$v_j$的信息是条件,表示为:$(z_i,z_j)$.我们表示被观测得到的邻接矩阵$A$的值作为事实结果输出,并用$A^{CF}$表示未观测到的矩阵作为反事实结果.我们表示二元干涉矩阵为: T ∈ { 0 , 1 } n × n T \in\{0,1\}^{n \times n} T∈{0,1}n×n.其意为对节点对$(v_i,v_j)$的干涉.相应的,反事实干涉矩阵可以表示为:$T^{CF}$,其中,$T_{ij}^{CF}=1-T$

可训练的变量

我们定义干涉$T_{ij}$为节点$v_i,v_j$的同配性.$T_{ij}=1$,表示ij两个点是相似的.我们定义$c:V\to N$b表示为一个划分策略依赖于节点环境信息.我们认为同配比是两个节点有相同的划分.即:$T_{ij}=1\text{ if }c(v_i)=c(v_j)$.

反事实结果

由于对每一个节点对,我们只能观测事实干涉和相应的结果.节点对使用反干涉的关系是未知的.因此,我们将反事实结果通过最近的观测环境(条件)去估计.即:给定观测到的节点对集,我们的目标是找到他们的最近邻居通过反干涉,视他们为反事实节点对.每个节点对,我们可以定义反事实关系为:
$$(v_a,v_b)=\arg \underset{v_a,v_b\in \mathcal{V}}{\max }\left[s((v_i,v_j),(v_a,v_b))|T_{ab}=1-T_{ij}\right]$$
其中s是环境的相似性测量.最终,我们引导节点比较去实现环境比较.即:我们评估每对结点的反事实结果为:
$$(v_a,v_b)=\arg \underset{v_a,v_b\in V}{\max }[s({\tilde{\mathbf{x}}}_i,{\tilde{\mathbf{x}}}_a)+s({\tilde{\mathbf{x}}}_j,{\tilde{\mathbf{x}}}_b)\mid T_{ab}=1-T_{ij}],$$
具体的是,s是相似性函数,节点嵌入$\tilde{X}$通过拼接节点原始特征和他们的结构特征(通过node2vec)得到.这会更少的被同配性所影响.
最终,我们得到反事实干干涉结果$A^{CF}$
$$A_{ij}^{CF}=\{\begin{array}{ll}{A}_{ab}& \text{, if }\exists (v_a,v_b)\in \mathcal{V}\times \mathcal{V}\text{ satisfies Eq. (6);}\\ A_{ij}& \text{, otherwise.}\end{array}$$

干涉视图生成

通过干涉和反事实结果的引导,我们现在可以学习到干涉视图生成器.这可以通过可训练干涉变量去控制生成增强图.给定表征Z通过GCL Encoder以及干涉指示器$T$/$T^{CF}$,我们可以生成同配干涉视图$\hat{A}$以及异配干涉视图:${\hat{A}}^{CF}$
$$\hat{A}=g_{\theta }(Z,T),{\hat{A}}^{CF}=g_{\theta }(Z,T^{CF}),$$
$g_{\theta }$表示视图生成器.我们通过经验采用了一个简单的鹅多层感知机:
$$\widehat{A_{ij}}={\mathsf{MLP}}_{\theta }([{\mathbf{z}}_i\odot {\mathbf{z}}_j,T_{ij}]),{\hat{A}}_{ij}^{CF}={\mathsf{MLP}}_{\theta }([{\mathbf{z}}_i\odot {\mathbf{z}}_j,T_{ij}^{CF}])$$
其中,$\odot$表示hadamard积,$[\cdot ,\cdot ]$表示向量拼接.A内元素的范围都在[0,1]之间.$\widehat{A_{ij}}\to 1$表示很强的同配性,$\widehat{A_{ij}^{CF}}\to 1$表示很强的异配性

高通低通滤波器

低通滤波器:
$Z_l^{\mathbf{homo}}=\tilde{A}{Z}_{\mathbf{l}-1}^{\mathbf{homo}}{W}_{\mathbf{l}-1}^{\mathbf{low}},\mathrm{and}{Z}_0^{\mathbf{homo}}=X$
即:$Z^{\mathbf{homo}}=f_{\varphi }^{\mathbf{low}}(X,\hat{A})$
高通滤波器:
$Z_l^{\mathbf{heter}}=(I-\alpha {\tilde{A}}^{\mathbf{CF}})Z_{\mathbf{l}-1}^{\mathbf{heter}}{W}_{\mathbf{l}-1}^{\mathbf{high}},\mathrm{and}{Z}_0^{\mathbf{heter}}=X$
其中,${\tilde{A}}^{CF}$即为正则化的${\hat{A}}^{CF}$,$\alpha$是平衡超参.

视图生成优化

主要分为两个部分:视图损失最小化,以及同配比异配比和为1
$${\mathcal{L}}_F={\mathbb{E}}_{i,j\sim \mathcal{V}}[A_{ij}\cdot \log {\hat{A}}_{ij}+(1-A_{ij})\cdot \log (1-{\hat{A}}_{ij})],$$$${\mathcal{L}}_{CF}={\mathbb{E}}_{i,j\sim \mathcal{V}}[A_{ij}^{CF}\cdot \log {\hat{A}}_{ij}^{CF}+(1-A_{ij}^{CF})\cdot \log (1-{\hat{A}}_{ij}^{CF})].$$
$${\mathcal{L}}_{\mathrm{reg}}={\mathbb{E}}_{i,j\sim \mathcal{V}}||1-{\hat{A}}_{ij}-{\hat{A}}_{ij}^{CF}||$$
最终,视图生成器$g_{\theta }$的优化可以写为:

${\min }_{\theta }{\mathcal{L}}_F+{\mathcal{L}}_{CF}+{\mathcal{L}}_{\mathrm{reg}}.$

对比损失:

$$\underset{\varphi ,\psi }{\min }{\mathbb{E}}_{i\sim \mathcal{V},j\in N_i^{\prime }}[{\mathcal{L}}_{\mathrm{GCL}}({\mathbf{z}}_i^{heter},{\mathbf{z}}_j^{homo})+{\mathcal{L}}_{\mathrm{GCL}}({\mathbf{z}}_i^{homo},{\mathbf{z}}_j^{heter})]$$