图神经网络（一）图信号处理与图卷积神经网络（1）矩阵乘法的三种方式

  图信号处理（Graph Signal Processing，GSP） ¹是离散信号处理（Discrete Signal Processing，DSP）理论在图信号领域的应用，其通过对傅里叶变换、滤波等信号处理基本概念的迁移，来研究对图信号的压缩、变换、重构等信号处理的基础任务。

 图信号处理与图卷机模型密不可分：一方面，理解图信号处理对于了解图卷机模型的定义和演变有十分重要的帮助；一方面，图信号处理也为图卷机模型的理论研究提供了十分实用的工具。

 本章的脉络十分自然，我们将看到图信号处理的基本理论是如何延伸到图卷积神经网络中去的，首先，我们给出了图信号的基本定义，紧接着介绍图傅里叶变换，并由此引出图信号频率的定义。然后，我们介绍图信号上的滤波操作，紧接着介绍卷积滤波与图卷积模型的关系。其中还穿插了比较重要的两部分内容：一是对图信号的频域与空域的理解；二是对图信号处理的频域与空域的理解 ²。

1.1 矩阵乘法的三种方式

 由于本章的公式以矩阵乘法为主，为了帮助大家更好地理解公式的推导过程，我们介绍下矩阵乘法的其他两种计算方式。

 设两个矩阵$A\in R^{K\times M}$，$B\in R^{M\times P}$，对于$C=AB$，我们有如下3种计算方式：

 (1) 内积视角：将$A$视作一个行向量矩阵，将$B$视作一个列向量矩阵，则：
$$C_{ij}=A_{i,:}{B}_{:,j}$$ (2) 行向量视角：将$B$视作一个行向量矩阵，将$A$视作系数矩阵，则：
$$C_{i,:}=\sum _m^M{A}_{im}{B}_{m,:}$$ (3) 列向量视角：将$A$视作一个列向量矩阵，将$B$视作系数矩阵，则：
$$C_{:,j}=\sum _m^M{B}_{mj}{A}_{:,m}$$
 举例来说，设$A=\left[\begin{array}{ccc}1& -1& 2\\ 0& 2& 1\end{array}\right]$，$B=\left[\begin{array}{cc}2& 0\\ -1& 1\\ 0& -1\end{array}\right]$，则：

 如果用内积视角计算，可得$C=\left[\begin{array}{cc}3& -3\\ -2& 1\end{array}\right]$

 如果用行视角进行计算，我们以$C$的第一行计算过程为例：
$$\begin{array}{rl}\left[\begin{array}{cc}3& -3\end{array}\right]& =\left[\begin{array}{ccc}1& -1& 2\end{array}\right]\left[\begin{array}{cc}2& 0\\ -1& 1\\ 0& -1\end{array}\right]\\ & =1\left[\begin{array}{cc}2& 0\end{array}\right]+(-1)\left[\begin{array}{cc}-1& 1\end{array}\right]+2\left[\begin{array}{cc}0& -1\end{array}\right]\\ & =\left[\begin{array}{cc}2& 0\end{array}\right]+\left[\begin{array}{cc}1& -1\end{array}\right]+\left[\begin{array}{cc}0& -2\end{array}\right]\\ & =\left[\begin{array}{cc}3& -3\end{array}\right]\end{array}$$

 如果用列视角进行计算，我们以$C$的第一列计算过程为例：
$$\begin{array}{rl}\left[\begin{array}{c}3\\ -2\end{array}\right]& =\left[\begin{array}{ccc}1& -1& 2\\ 0& 2& 1\end{array}\right]\left[\begin{array}{c}2\\ -1\\ 0\end{array}\right]\\ & =2\left[\begin{array}{c}1\\ 0\end{array}\right]+(-1)\left[\begin{array}{c}-1\\ 2\end{array}\right]+0\left[\begin{array}{c}2\\ 1\end{array}\right]\\ & =\left[\begin{array}{c}2\\ 0\end{array}\right]+\left[\begin{array}{c}1\\ -2\end{array}\right]+\left[\begin{array}{c}0\\ 0\end{array}\right]\\ & =\left[\begin{array}{c}3\\ -2\end{array}\right]\end{array}$$
 上述两种新的矩阵计算视角除了对理解本章的公式推导大有益处之外，行视角的计算方式对理解空域图卷积的计算逻辑与意义也将有很大帮助。

参考文献

---

1. [1] Shuman D I，Narang S K，Frossard P，et al.The
   emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains[J].IEEE signal processing magazine，2013，30（3）：83-98. ↩︎

2. [2] 刘忠雨, 李彦霖, 周洋.《深入浅出图神经网络: GNN原理解析》.机械工业出版社. ↩︎