Block Modeling-Guided Graph Convolutional Neural Networks

发表于:AAAI22
推荐指数: #paper/⭐⭐⭐
概括其思想:
其思路基于每个子块应该有自己的建模方式,以块为基础重构了相似性矩阵

Block matrix

给定标签矩阵$Y\in {\mathbb{R}}^{n\times c}$.块矩阵定义为:
$$H=\left(Y^{T}AY\right)\oslash \left(Y^{T}AE\right)$$
其中,E是和Y相似的all one矩阵.块矩阵链接任何两个块的相似性.

模型框架

学习块矩阵

有点看不懂,需要看代码
$$\bar{B}=\sigma \left(\mathrm{MLP}\left(X\right)\right)$$
$$B=\mathrm{softmax}\left(\bar{B}\right)$$
$${\mathcal{L}}_{MLP}=\sum _{v_i\in {\mathcal{T}}_{\nu }}f\left(B_i,Y_i\right)$$
其中,${\mathcal{T}}_{\mathcal{V}}$.这三个公式的意思是:用特征矩阵X去模拟标签矩阵Y.
Y s = { Y i , B j ∣ ∀ v i ∈ T V , ∀ v j ∉ T V } Y_s=\{Y_i,B_j|\forall v_i\in\mathcal{T}_\mathcal{V},\forall v_j\notin\mathcal{T}_\mathcal{V}\} Ys​={Yi​,Bj​∣∀vi​∈TV​,∀vj​∈/TV​}
$$H=\left(\begin{array}{c}{Y}_s^{T}A{Y}_s\end{array}\right)\oslash \left(\begin{array}{c}{Y}_s^{T}AE\end{array}\right)$$

构建相似块矩阵:

得到新的块H后,我们进行如下操作:
$$Q=H{H}^T$$
$$\mathrm{Diag}\left(Q\right)\leftarrow \alpha \cdot \mathrm{Diag}\left(Q\right)$$

基于块的图卷积

B i = { b i 1 , b i 2 , . . . , b i c } a n d B j = { b j 1 , b j 2 , . . . , b j c } B_i = \{b_i^1, b_i^2, ..., b_i^c\} \mathrm{and} B_j = \{b_j^1, b_j^2, ..., b_j^c\} Bi​={bi1​,bi2​,...,bic​}andBj​={bj1​,bj2​,...,bjc​}.因此,这里有$c^2$个类链接对于任何节点$⟨v_i,v_j⟩$
相似性函数可以定义为:
$$p(\phi (v_i)=Y_r,\phi (v_j)=Y_t)=b_i^r{b}_j^t$$
$\phi$是映射函数,映射节点到它的类别. r , t ∈ { 1 , 2 , . . . , c } r,t\in\{1,2,...,c\} r,t∈{1,2,...,c}.
我们可以定义$v_i和v_j$的权重矩阵为:${\omega }_{ij}={\sum }_{r=1}^c{\sum }_{t=1}^c{q}_{r,t}{b}_i^r{b}_j^t$
矩阵形式为:
$$\Omega =BQ{B}^T$$
我们利用权重矩阵重定义邻接矩阵$A^{\prime }=\Omega \odot (A+\beta I)$
但是,$A^{\prime }$的每个元素可能不在(0,1)内.因此,我们利用相似性矩阵来重新归一化:
$${\tilde{a}}_{i,j}=\frac{\exp (a^{\prime }{}_{i,j})}{{\sum }_{v_s\in \mathcal{N}}\exp (a^{\prime }{}_{i,s})}$$
最终,卷积函数被设计为:
$$Z^{(k)}=Z^{(k-1)}{W}_1^{(k)}+\tilde{A}{Z}^{(k-1)}{W}_2^{(k)}$$

模型优化:

${\mathcal{L}}_{GCN}={\sum }_{v_i\in {\mathcal{T}}_{\mathcal{V}}}f\left(Z_i,Y_i\right)$
${\mathcal{L}}_{final}=\lambda {\mathcal{L}}_{GCN}+(1-\lambda ){\mathcal{L}}_{MLP}$