Introduction to Graph Neural Network（图神经网络概论）翻译：Chapter2：Basic of Math and Graph

2 Basic of Math and Graph

2.1 Linear Algebra（线性代数）

线性代数的语言和概念已经在计算机科学的许多领域得到了广泛的应用，机器学习也不例外。对机器学习的良好理解是建立在对线性代数彻底理解的基础上的。在本节中，我们将简要回顾线性代数中的一些重要概念和计算方法，这些概念和计算方法对于理解本书的其他内容是必要的。在本节中，我们将复习线性代数中的一些基本概念和计算，这些概念和计算对于理解本书的其他内容是必要的。

2.1.1 Basic Concepts（基本概念）

• 标量 一个数
• 向量 一列有序数字，可以表示为以下形式

$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\text{\hspace{1em}(2-1)}$$

向量的范数衡量其长度。 $L_p$范数定义如下：

$$\Vert \mathrm{x}{\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{\frac{1}{p}}\text{\hspace{1em}(2-2)}$$

$L_1$范数，$L_2$范数和$L_{\infty }$范数经常用于机器学习中。

$L_1$范数可以简化为：

$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n\left|x_i\right|\text{\hspace{1em}(2-3)}$$

在欧几里得空间${\mathbb{R}}^n$中，$L_2$范数用于测量向量的长度，其中:

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{\mathbf{x}}_i^2}\text{\hspace{1em}(2-4)}$$

$L_{\infty }$范数也被称之为最大穷范数：

$$\Vert \mathrm{x}{\Vert }_{\infty }=\underset{i}{\max }\left|x_i\right|\text{\hspace{1em}(2-5)}$$

在$L_p$范数的情况下，两个向量 ${\mathbf{x}}_1$，${\mathbf{x}}_2$ 的距离（其中${\mathbf{x}}_1$，${\mathbf{x}}_2$ 在同一线性空间中）可以定义为：

$${\mathbf{D}}_p\left({\mathbf{x}}_1,{\mathbf{x}}_2\right)=\Vert {\mathbf{x}}_1-{\mathbf{x}}_2{\Vert }_p\text{\hspace{1em}(2-6)}$$

一组向量${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{m}}$ 当且仅当不存在一组不全为0的标量${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{\mathbf{m}}$时，可以称之为线性无关，例如：

$${\lambda }_1{\mathrm{x}}_1+{\lambda }_2{\mathrm{x}}_2+\cdots +{\lambda }_m{\mathrm{x}}_m=0\text{\hspace{1em}(2-7)}$$

• 矩阵：二维数组，可以表示为以下形式

$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \dots & a_{mn}\end{array}\right]\text{\hspace{1em}(2-8)}$$

其中，$\mathbf{A}\in {\mathbb{R}}^{m\times n}$

给定两个矩阵：$\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 和$\mathbf{B}\in {\mathbb{R}}^{n\times p}$，$\mathbf{A}\mathbf{B}$的就很乘积可以表示为$\mathbf{C}\in {\mathbb{R}}^{m\times p}$，其中：
$${\mathbf{C}}_{ij}=\sum _{k=1}^n{\mathbf{A}}_{ik}{\mathbf{B}}_{kj}\text{\hspace{1em}(2-9)}$$

可以证明，矩阵积是关联的，但不一定是换算的。用数学语言来说：
$$\left(\mathbf{A}\mathbf{B}\right)\mathbf{C}=\mathbf{A}\left(\mathbf{B}\mathbf{C}\right)\text{\hspace{1em}(2-10)}$$
对任意矩阵A、B、C成立（假设乘法合法）。

然而：
A B = B A (2-11) \mathbf{AB = BA} \tag{2-11}