拉普拉斯矩阵（Laplacian matrix）

最新推荐文章于 2024-06-14 21:09:07 发布

最新推荐文章于 2024-06-14 21:09:07 发布

阅读量1.6w

点赞数 34

分类专栏：机器学习文章标签：神经网络

本文链接：https://blog.csdn.net/weixin_45884316/article/details/117431134

版权

机器学习专栏收录该内容

36 篇文章 24 订阅

订阅专栏

文章目录

我们要首先清楚，图拉普拉斯矩阵不是为了图神经网络而生，而在之前就存在了很久很久。

简单介绍

简单地说，拉普拉斯矩阵就是 $L = D - A$ ， $A$ 是邻接矩阵， $D$ 是度矩阵。如下例：

在这里插入图片描述

$A=\left(\begin{array}{llllll}0 & 1 & 0 & 0 & 1 & 0 \\ 1 & 0 & 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 & 1 & 1 \\ 1 & 1 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0\end{array}\right) D=\left(\begin{array}{llllll}2 & 0 & 0 & 0 & 0 & 0 \\ 0 & 3 & 0 & 0 & 0 & 0 \\ 0 & 0 & 2 & 0 & 0 & 0 \\ 0 & 0 & 0 & 3 & 0 & 0 \\ 0 & 0 & 0 & 0 & 3 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1\end{array}\right)$
可求得拉普拉斯矩阵 $L$ ：
$L=D-A=\left(\begin{array}{rrrrrr}2 & -1 & 0 & 0 & -1 & 0 \\ -1 & 3 & -1 & 0 & -1 & 0 \\ 0 & -1 & 2 & -1 & 0 & 0 \\ 0 & 0 & -1 & 3 & -1 & -1 \\ -1 & -1 & 0 & -1 & 3 & 0 \\ 0 & 0 & 0 & -1 & 0 & 1\end{array}\right)$

为什么在图中会用到Laplacian matrix

初次接触图神经网络时，大家肯定会看到图拉普拉斯矩阵 $\frac { 1 } { 2 } } A D ^ { - \frac { 1 } { 2 } }$ 或者 $L = D - A$ , 那么为什么需要这么定义，下面我们就来仔细推导一下：

我们规定：

$A$ ：邻接矩阵， $D$ ：度矩阵
$f$ ：将图 $G$ 看作一个包含 $N$ 个变量的离散函数
$x_i$ ：节点 $i$ 的取值
$N_i$ ：图中节点的一阶所有邻居节点集合， $j∈N_i$ 表示节点 $i$ 的一个一阶邻居节点

为了对上述节点的邻居节点集合 $N_i$ 使用邻接矩阵进行替换，需要继续对上述图中的拉普拉斯算子进行矩阵形式的推导；首先，将图 $G$ 中的各个节点的取值表示成矩阵的形式：
$X^{N \times 1}=\left(\begin{array}{c}x_{1} \\ x_{2} \\ \vdots \\ x_{N}\end{array}\right)$
那么对于节点 $i$ , 可以进一步进行展开：
$\begin{aligned} \Delta f_{x_{i}} &=\sum_{j \in N_{i}}\left(x_{i}-x_{j}\right) \\ &=\sum_{j \in N} a_{i j}\left(x_{i}-x_{j}\right) \\ &=\sum_{j \in N} a_{i j} x_{i}-\sum_{j \in N} a_{i j} x_{j} \\ &=x_{i} \sum_{j \in N} a_{i j}-\sum_{j \in N} a_{i j} x_{j} \\ \end{aligned}$
注意到， $\sum_{j \in N} a_{i j}$ 可以看作第 $i$ 个节点的度之和，也可以看作邻接矩阵A的第 $i$ 行 $A_i$ ，进行替换后：
$\begin{aligned} &=x_{i} D_{i}-\sum_{j \in N} a_{i j} x_{j} \\ &=x_{i} D_{i}-A_{i} X \end{aligned}$
推广至所有节点：
$\Delta f=\left(\begin{array}{c}\Delta f_{x_{1}} \\ \Delta f_{x_{2}} \\ \vdots \\ \Delta f_{x_{N}}\end{array}\right)=\left(\begin{array}{c}x_{1} D_{1}-A_{1} X \\ x_{2} D_{2}-A_{2} X \\ \vdots \\ x_{N} D_{N}-A_{N} X\end{array}\right)=\left(\begin{array}{c}x_{1} D_{1} \\ x_{2} D_{2} \\ \vdots \\ x_{N} D_{N}\end{array}\right)-\left(\begin{array}{c}A_{1} X \\ A_{2} X \\ \vdots \\ A_{N} X\end{array}\right)$
继续分别进行简化，以求化成邻接矩阵 $A$ 和度矩阵 $D$ ：
$\left( \begin{array} { l } { A _ { 1 } X } \\ { A _ { 2 } X } \\ { : } \\ { A _ { N } X } \end{array} \right) = A ^ { N \times N } X ^ { N \times 1 } = A X$

$\left(\begin{array}{c}x_{1} D_{1} \\ x_{2} D_{2} \\ \vdots \\ x_{i} D_{N}\end{array}\right)=\left(\begin{array}{ccccc}D_{1} & 0 & 0 & \cdots & 0 \\ 0 & D_{2} & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & D_{N}\end{array}\right)^{N \times N }X^{N\times1} =D ^ { N \times N } X ^ { N \times 1 } = D X$

这样，我们便可得到拉普拉斯算子在图上的等式
$\begin{array} { l } { \Delta f = D X - A X = ( D - A ) X } \end{array}$
${ L = D - A }$ ， $L$ 被称作为拉普拉斯矩阵

两种形式

1. 标准拉普拉斯矩阵

$L = D - A$

各元素的值：
$L_{i j}=\left\{\begin{array}{ll}D_{i i}, & \text { if } \mathrm{i}=\mathrm{j} \\ -1, & \text { if } \mathrm{i}, \mathrm{j} \text { in edge set } \\ 0, & \text { otherwise }\end{array}\right.$

拉普拉斯矩阵的对角线上取值为节点的度
如果节点和节点相邻，那么取值为-1
显然，拉普拉斯矩阵为对称的矩阵

可以结合刚开始的例子进行理解。

2. 归一化的拉普拉斯矩阵(Symmetric normalized Laplacian)

这就是大家会在各个模型里见到比较多的形式：
$\frac { 1 } { 2 } } L D ^ { - \frac { 1 } { 2 } } = I - D ^ { - \frac { 1 } { 2 } } A D ^ { - \frac { 1 } { 2 } }$
各元素的值：
$L_{i j}=\left\{\begin{array}{ll}1, & \text { if } \mathrm{i}=\mathrm{j} \\ \frac{-1}{\sqrt{D_{i i}} \sqrt{D_{j j}}}, & \text { if } \mathrm{i}, \mathrm{j} \text { in edge set } \\ 0, & \text { otherwise }\end{array}\right.$

关注

34
点赞
踩
110

收藏

觉得还不错? 一键收藏
0
评论
拉普拉斯矩阵（Laplacian matrix）

本文只是为GNN而写的基础，所以没有涉及太详细的数学推导我们要明白一点，图拉普拉斯矩阵不是为了图神经网络而生，而在之前就存在了很久很久。简单介绍简单地说，拉普拉斯矩阵就是L=D−AL=D-AL=D−A，AAA是邻接矩阵，DDD是度矩阵。如下例：A=(010010101010010100001011110100000100)D=(200000030000002000000300000030000001)A=\left(\begin{array}{llllll}0 & 1 & 0 &
复制链接

扫一扫