线性代数——标量，向量，矩阵，张量

标量

一个标量是一个单独的数，通常用斜体的小写变量表示，例如“令 $n\in N$ 表示元素的数目”

向量

一个向量是一列数，通常用斜体的粗体变量表示，例如 :
$$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$$
为了表示方便，在论文中通常写作 $x=(x_1,x_2,...,x_n{)}^T$。写成行形式的向量称为行向量，写成列形式的向量称为列向量，它们也可以看作是 $1\times n$ 和 $n\times 1$ 的矩阵

设向量 $\mathbf{a}=(a_1,a_2,...,a_n)$ ，$\mathbf{b}=(b_1,b_2,...,b_n)$，若：
$$a_i=b_i(i=1,2,...,n)$$ 则称这两个向量相等，记为 $\mathbf{a}=\mathbf{b}$

零向量

分量全为0的向量 $(0,0,...,0)$ 称为零向量，记为 $0$

单位向量

长度等于1的向量称为单位向量

向量加法

设向量 $\mathbf{a}=(a_1,a_2,...,a_n)$ ，$\mathbf{b}=(b_1,b_2,...,b_n)$，称：
$$\mathbf{c}=(a_1+b_1,a_2+b_2,...,a_n+b_n)$$ 为 $\mathbf{a},\mathbf{b}$ 的和，记为 $\mathbf{c}=\mathbf{a}+\mathbf{b}$

向量加法满足如下运算规律：

1. $\mathbf{a}+\mathbf{b}=\mathbf{b}+\mathbf{a}$
2. $(\mathbf{a}+\mathbf{b})+\mathbf{c}=\mathbf{a}+(\mathbf{b}+\mathbf{c})$
3. $\mathbf{a}+0=\mathbf{a}$
4. $\mathbf{a}+(-\mathbf{a})=0$

向量乘法

向量数乘

数与向量的乘积运算称为向量的数乘运算，向量的数乘满足如下运算规律：

1. $\lambda (\mu \mathbf{a})=\mu (\lambda \mathbf{a})=(\lambda \mu )\mathbf{a}$
2. $1\mathbf{a}=\mathbf{a}$ 且 $(-1)\mathbf{a}=-\mathbf{a}$
3. $\lambda (\mathbf{a}+\mathbf{b})=\lambda \mathbf{a}+\lambda \mathbf{b}$
4. $(\lambda +\mu )\mathbf{a}=\lambda \mathbf{a}+\mu \mathbf{a}$

内积（点乘，数量积）

记作$\mathbf{a}\cdot \mathbf{b}$，可以理解为向量 $\mathbf{a}$ 在向量 $\mathbf{b}$ 上的投影长度，结果是一个标量：
$$\mathbf{a}\cdot \mathbf{b}=|a||b|\cos ⟨a,b⟩$$
则若$\mathbf{a}=(a_1,a_2,a_3)$，$\mathbf{b}=(b_1,b_2,b_3)$，则 $\mathbf{a}$ 与 $\mathbf{b}$ 的点乘为：
$$\mathbf{a}\cdot \mathbf{b}=a_1{b}_1+a_2{b}_2+a_3{b}_3$$ 即两个向量的内积等于它们对应坐标的乘积之和

两个向量的内积满足：

1. 若 $\mathbf{a}̸=0$，则 $\mathbf{a}\cdot \mathbf{a}>0$
2. $\mathbf{a}\cdot \mathbf{b}=\mathbf{b}\cdot \mathbf{a}$
3. $(\lambda \mathbf{a})\cdot \mathbf{b}=\mathbf{a}\cdot (\lambda \mathbf{b})=\lambda (\mathbf{a}\cdot \mathbf{b})$
4. $(\mathbf{a}+\mathbf{b})\cdot \mathbf{c}=\mathbf{a}\cdot \mathbf{c}+\mathbf{b}\cdot \mathbf{c}$

外积（叉乘，向量积）

记作 $\mathbf{a}\times \mathbf{b}$，结果是一个向量。当 $\mathbf{a}$ 和 $\mathbf{b}$ 不平行时，$|\mathbf{a}\times \mathbf{b}|$ 可以理解为以 $\mathbf{a}$ 和 $\mathbf{b}$ 为邻边的平行四边形的面积：
$$|\mathbf{a}\times \mathbf{b}|=|a||b|\sin ⟨a,b⟩$$ 它的方向规定为与 $\mathbf{a}$，$\mathbf{b}$ 均垂直，并且使 $\mathbf{a},\mathbf{b},\mathbf{a}\times \mathbf{b}$ 成右手系

则若$\mathbf{a}=(a_1,a_2,a_3)$，$\mathbf{b}=(b_1,b_2,b_3)$，则 $\mathbf{a}$ 与 $\mathbf{b}$ 的叉乘为：
$$\mathbf{a}\times \mathbf{b}=(a_2{b}_3-b_2{a}_3,a_3{b}_1-b_3{a}_1,a_1{b}_2-b_1{a}_2)$$
外积的性质如下：

1. $\mathbf{a}\times \mathbf{a}=0$
2. $\mathbf{a}\times \mathbf{b}=-\mathbf{b}\times \mathbf{a}$
3. $(\lambda \mathbf{a})\times \mathbf{b}=\mathbf{a}\times (\lambda \mathbf{b})=\lambda (\mathbf{a}\times \mathbf{b})$
4. $(\mathbf{a}+\mathbf{b})\times \mathbf{c}=\mathbf{a}\times \mathbf{c}+\mathbf{b}\times \mathbf{c}$

混合积

三个向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 的混合积是一个数，记作 $(\mathbf{a},\mathbf{b},\mathbf{c})$，定义为 ：
$$(\mathbf{a},\mathbf{b},\mathbf{c})=(\mathbf{a}\times \mathbf{b})\cdot \mathbf{c}$$即为三个向量先外积后内积，结果的绝对值可以表示以三个非零向量 $\mathbf{a}$，$\mathbf{b}$，$\mathbf{c}$ 为棱作一个平行六面体，其底面积为 $|\mathbf{a}\times \mathbf{b}|$，高为 $|\mathbf{c}||\cos \theta |$，其中 $\theta$ 为 $\mathbf{c}$ 与 $\mathbf{a}\times \mathbf{b}$ 的夹角，因此该平行六面体的体积为：
$$V=|\mathbf{a}\times \mathbf{b}||\mathbf{c}|\cos \theta =|(\mathbf{a}\times \mathbf{b})\cdot \mathbf{c}|=|(\mathbf{a},\mathbf{b},\mathbf{c})|$$
则若$\mathbf{a}=(a_1,a_2,a_3)$，$\mathbf{b}=(b_1,b_2,b_3)$，$\mathbf{c}=(c_1,c_2,c_3)$，则 $\mathbf{a}$，$\mathbf{b}$ ，$\mathbf{c}$的混合积为：
$$(\mathbf{a}\times \mathbf{b})\cdot \mathbf{c}=(a_2{b}_3-b_2{a}_3)c_1+(a_3{b}_1-b_3{a}_1)c_2+(a_1{b}_2-b_1{a}_2)c_3=\left|\begin{array}{c}{a}_1{b}_1{c}_1\\ a_2{b}_2{c}_2\\ a_3{b}_3{c}_3\end{array}\right|$$

笛卡尔积

笛卡尔积是指两个集合中所有元素的组合情况，例如：
设 $A$，$B$ 为集合，用 $A$ 中元素为第一元素，$B$ 中元素为第二元素构成有序对，这样所有的有序对组成的集合称作 $A$ 与 $B$ 的笛卡尔积。例如，若 $A=(a,b)$，$B=(x,y,z)$ ，则：
$A$ 与 $B$ 的笛卡尔积为$((a,x),(a,y),(a,z),(b,x),(b,y),(b,z))$
$B$ 与 $A$ 的笛卡尔积为$((x,a),(x,b),(y,a),(y,b),(z,a),(z,b))$

矩阵

矩阵是一个二维数组，其中每一个元素由两个下标共同决定，通常用粗体的大写变量表示，例如: $\mathbf{A}\in {\mathbb{R}}^{m\times n}$。但在表示矩阵中单个元素时，通常以不加粗的斜体变量表示，例如：$A_{1,1}$。当需要明确表示矩阵中的全部元素时，通常将它们写在用方括号括起来的数组中：
$$\left[\begin{array}{c}{A}_{1,1}{A}_{1,2}\\ A_{2,1}{A}_{2,2}\end{array}\right]$$
如果 $m=1$，那么矩阵可以看成一个行向量，即：
$$\mathbf{A}=[a_{11},a_{12},...,a_{1n}]$$
当 $n=1$ 时，矩阵可以看成一个列向量，即：
$$\mathbf{A}=\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{m1}\end{array}\right]$$
当 $m=n$ 时，我们称它为 $\mathbf{n}\times \mathbf{n}$ 矩阵或 $\mathbf{n}$ 阶方阵。称 $a_{ii}$ 为方阵的主对角线元素，所有主对角线元素的和称为方阵的迹，记作：
$$tr(\mathbf{A})=a_{11}+a_{22}+...+a_{nn}=\sum _{i=1}^n{a}_{ii}$$迹运算在转置运算下不变：$tr(\mathbf{A})=tr({\mathbf{A}}^T)$
假设矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$，矩阵 $\mathbf{B}\in {\mathbb{R}}^{n\times m}$，可得：$tr(\mathbf{A}\mathbf{B})=tr(\mathbf{B}\mathbf{A})$

单位矩阵

任意向量和单位矩阵相乘，都不会改变，将保持$n$维向量不变的单位矩阵记作${\mathbf{I}}_n$，即
$$\forall \mathbf{x}\in {\mathbb{R}}^n,{\mathbf{I}}_{\mathbf{n}}\mathbf{x}=\mathbf{x}$$
单位矩阵结构很简单，即对角线元素为1，其他都为0，例如：
$$\left[\begin{array}{c}100\\ 010\\ 001\end{array}\right]$$

对角矩阵

只在主对角线上含有非零元素，其他位置都是0的矩阵叫对角矩阵。通常用 $diag(\mathbf{v})$ 表示对角元素由向量 $\mathbf{v}$ 构成的对角矩阵：
$$\begin{gathered} diag(\mathbf{v})\mathbf{x}=\mathbf{v}\odot \mathbf{x} \\ diag(\mathbf{v}{)}^{-1}=diag([1/v_1,1/v_2,...,1/v_n{]}^T) \end{gathered}$$

对称矩阵

对称矩阵是转置后和自己相等的矩阵，即：
$$\mathbf{A}={\mathbf{A}}^{\mathbf{T}}$$当某些不依赖于参数顺序的双参数函数生成元素时，对称矩阵经常会出现

正交矩阵

正交矩阵指行向量和列向量是分别标准正交的方阵，即：
$${\mathbf{A}}^{\mathbf{T}}\mathbf{A}=\mathbf{A}{\mathbf{A}}^{\mathbf{T}}=\mathbf{I}$$
$n$ 阶正交矩阵具有如下性质：

1. $\mathbf{A}$ 可逆，且 ${\mathbf{A}}^{-1}={\mathbf{A}}^{\mathbf{T}}$
2. ${\mathbf{A}}^{-1}$，${\mathbf{A}}^T$ 也是正交矩阵
3. $|\mathbf{A}|=\pm 1$
4. 正交矩阵的乘积仍是正交矩阵

矩阵加法

矩阵加标量

矩阵与标量相加或相乘时，只需将其与矩阵中每一个元素相加或相乘，例如 $\mathbf{D}=a\cdot \mathbf{B}+c$ 即为$D_{i,j}=a\cdot B_{i,j}+c$

矩阵加向量

矩阵与向量相加 $\mathbf{C}=\mathbf{A}+\mathbf{b}$ 是向量与矩阵的每一行相加，即 $C_{i,j}=A_{i,j}+b_j$ ，同样产生一个矩阵。由于原理上是将向量 $\mathbf{b}$ 复制到矩阵的每一行，因此又称为广播

矩阵加矩阵

矩阵形状一致，即可进行相加操作。两个矩阵相加是指对应位置元素相加，例如 $\mathbf{C}=\mathbf{A}+\mathbf{B}$ 即为$C_{i,j}=A_{i,j}+B_{i,j}$

矩阵加法满足：

1. 交换律：$\mathbf{A}+\mathbf{B}=\mathbf{B}+\mathbf{A}$
2. 结合律：$\mathbf{A}+(\mathbf{B}+\mathbf{C})=(\mathbf{A}+\mathbf{B})+\mathbf{C}$
3. $\mathbf{A}+0=\mathbf{A}$
4. $\mathbf{A}+(-\mathbf{A})=0$

矩阵乘法

矩阵乘标量

称为矩阵的数乘，矩阵与标量相加或相乘时，只需将其与矩阵中每一个元素相加或相乘，例如 $\mathbf{D}=a\cdot \mathbf{B}+c$ 即为$D_{i,j}=a\cdot B_{i,j}+c$

矩阵数乘满足：

1. 结合律：$k(l\mathbf{A})=(kl)\mathbf{A}$
2. 分配率：$(k+l)\mathbf{A}=k\mathbf{A}+l\mathbf{A}$，$k(\mathbf{A}+\mathbf{B})=k\mathbf{A}+k\mathbf{B}$
3. $1\mathbf{A}=\mathbf{A}$
4. $k\mathbf{A}=0\iff k=0$ 或 $\mathbf{A}=0$

矩阵乘向量

一个矩阵乘以一个列向量相当于矩阵的列向量的线性组合，一个行向量乘以一个矩阵相当于矩阵的行向量的线性组合。例如：
$$\left[\begin{array}{c}{A}_{1,1}{A}_{1,2}\\ A_{2,1}{A}_{2,2}\end{array}\right]\left[\begin{array}{c}{B}_{1,1}\\ B_{2,1}\end{array}\right]=\left[\begin{array}{c}{C}_{1,1}\\ C_{2,1}\end{array}\right]$$
其中，$C_{1,1}=A_{1,1}{B}_{1,1}+A_{1,2}{B}_{2,1}$，$C_{2,1}=A_{2,1}{B}_{1,1}+A_{2,2}{B}_{2,1}$
或：
$$\left[\begin{array}{c}{A}_{1,1}{A}_{1,2}\end{array}\right]\left[\begin{array}{c}{B}_{1,1}{B}_{1,2}\\ B_{2,1}{B}_{2,2}\end{array}\right]=\left[\begin{array}{c}{C}_{1,1}{C}_{1,2}\end{array}\right]$$
其中，$C_{1,1}=A_{1,1}{B}_{1,1}+A_{1,2}{B}_{2,1}$，$C_{1,2}=A_{1,1}{B}_{1,2}+A_{1,2}{B}_{2,2}$
由于尺寸不一致问题，不存在一个矩阵乘以一个行向量或者一个列向量乘以一个矩阵的情况。

矩阵乘矩阵

若矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 想要相乘，那么矩阵 $\mathbf{A}$ 的列数必须和矩阵 $\mathbf{B}$ 的行数相等。即如果矩阵 $\mathbf{A}$ 的形状为 $m\times n$，矩阵 $\mathbf{B}$ 的形状为 $n\times p$，那么它们的乘积结果 $\mathbf{C}$ 的形状是$m\times p$ 。通常将两个或多个矩阵并列放置表示矩阵相乘，例如：$\mathbf{C}=\mathbf{A}\mathbf{B}$
具体到元素上的操作为：
$$C_{i,j}=\sum _k{A}_{i,j}{B}_{k,j}$$
需要注意的是，两个矩阵的乘积并不是两个矩阵中对应元素的乘积。不过，这样的矩阵操作也存在，成为元素对应乘积或者Hadamard乘积，记作 $\mathbf{A}\odot \mathbf{B}$

矩阵乘积满足：

1. 分配率 $\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{A}\mathbf{C}$
2. 结合律 $\mathbf{A}(\mathbf{B}\mathbf{C})=(\mathbf{A}\mathbf{B})\mathbf{C}$
3. $k(\mathbf{A}\mathbf{B})=(k\mathbf{A})\mathbf{B}=\mathbf{A}(k\mathbf{B})$
   但不满足交换律，例如 $\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}$ 不一定成立

矩阵逆

矩阵$\mathbf{A}$的矩阵逆记作${\mathbf{A}}^{{}_{-}1}$，满足如下条件：
$${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_{\mathbf{n}}$$
注意：逆矩阵只对方阵而言，没有定义非方阵的矩阵的逆

矩阵的逆有如下性质：

1. 若矩阵 $\mathbf{A}$ 可逆，则其逆矩阵唯一确定
2. $\mathbf{A}$ 可逆时，${\mathbf{A}}^{-1}$ 也可逆，且 $({\mathbf{A}}^{-1}{)}^{-1}=\mathbf{A}$
3. $\mathbf{A}$，$\mathbf{B}$ 可逆时，$\mathbf{A}\mathbf{B}$ 也可逆，且 $(\mathbf{A}\mathbf{B}{)}^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$
4. $\mathbf{A}$ 可逆时，其转置 ${\mathbf{A}}^T$ 也可逆，并且 $({\mathbf{A}}^T{)}^{-1}=({\mathbf{A}}^{-1}{)}^T$

$n$ 阶矩阵 $\mathbf{A}$ 可逆的条件是当且仅当其行列式 $|\mathbf{A}|$ 不等于0。由于行列式不为0等价于矩阵满秩，故也可以叙述为：矩阵可逆的条件是当且仅当矩阵满秩

矩阵转置

矩阵的转置是以对角线为轴的镜像，转置后的矩阵记为${\mathbf{A}}^T$，定义如下：
$$({\mathbf{A}}^T{)}_{i,j}={\mathbf{A}}_{j,i}$$
即
$$A=\left[\begin{array}{c}{A}_{1,1}{A}_{1,2}\\ A_{2,1}{A}_{2,2}\\ A_{3,1}{A}_{3,2}\end{array}\right]\Rightarrow A^T=\left[\begin{array}{c}{A}_{1,1}{A}_{2,1}{A}_{3,1}\\ A_{1,2}{A}_{2,2}{A}_{3,2}\end{array}\right]$$
当 $\mathbf{A}={\mathbf{A}}^T$ 时，称 $\mathbf{A}$ 为对称矩阵。若 $\mathbf{A}=-{\mathbf{A}}^T$，则称 $\mathbf{A}$ 为反对称矩阵

矩阵转置满足：

1. $({\mathbf{A}}^T{)}^T=\mathbf{A}$
2. $(\mathbf{A}+\mathbf{B}{)}^T={\mathbf{A}}^T+{\mathbf{B}}^T$
3. $(k\mathbf{A}{)}^T=k{\mathbf{A}}^T$
4. $(\mathbf{A}\mathbf{B}{)}^{\mathbf{T}}={\mathbf{B}}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}$

矩阵的秩

矩阵的秩为，将矩阵通过一系列初等变换化成为阶梯矩阵后，非零行的数目，记作 $r(\mathbf{A})$

张量

张量是坐标维度超过二维的数组，例如一个三维张量 $\mathbf{A}$ 中坐标为 $(i,j,k)$ 的元素记作 $A_{i,j,k}$。

参考文献

[1] 伊恩·古德费洛, 约书亚·本吉奥, 亚伦·库维尔. 深度学习. 人民邮电出版社. 北京. 2018
[2] 周盛林, 刘西民. 线性代数与解析几何. 高等教育出版社. 2012