深度学习Goodfellow第二章线性代数笔记

---

一、数学概念

标量(scalar)：一个标量就是单独的一个数。一般用斜体的小写字母表示标量，会明确数的类型。例如， $s\in \mathbb{R}$ 表示一个实数标量。

向量(vector)：一个向量是一列数。一般用粗体的小写字母表示， $\mathbf{x}\in {\mathbb{R}}^n$ 表示该向量属于实数集 $\mathbb{R}$ 的$n$次笛卡尔乘积构成的集合。向量里的数是有序的，例如，向量 $\mathbf{x}$ 的第一个元素是 $x_1$ 。当我们需要明确向量中的元素，我们可以把向量表示为
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
向量可以视为空间中的点，每个元素是不同坐标轴上的坐标。

矩阵(matrix)：一个矩阵是一个二维数组。一般用粗体的大写字母表示， $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 就表示一个高为$m$，宽为$n$的实数矩阵。$A_{m,n}$表示矩阵中的一个元素，${\mathbf{A}}_{i,:}$表示 $\mathbf{A}$ 的第 $i$ 行(row)，${\mathbf{A}}_{:,i}$表示 $\mathbf{A}$ 的第 $i$ 列(column)。当我们需要明确矩阵中的元素时，我们可以把矩阵表示为
$$\left[\begin{array}{ll}{A}_{1,1}& A_{1,2}\\ A_{2,1}& A_{2,2}\end{array}\right]$$

张量(tensor)：张量表示坐标超过两维的数组。一般使用不斜体的粗体大写字母表示，张量$\text{ A }$中的一个元素可表示为$A_{i,j,k}$。

主对角线(main diagonal)：从矩阵的左上角到右下角的直线是主对角线。

转置(transpose)：矩阵的转置是以主对角线为轴的镜像。我们将矩阵 $\mathbf{A}$ 的转置表示为 $\left({\mathbf{A}}^{\top }\right)$, 定义如下
$${\left({\mathbf{A}}^{\top }\right)}_{i,j}=A_{j,i}$$

广播(broadcasting)：深度学习中允许矩阵和向量相加，产生另一个矩阵：$\mathbf{C}=\mathbf{A}+\mathbf{b}$, 其中 $C_{i,j}=A_{i,j}+b_j$。换言之，向量$\mathbf{b}$和矩阵$\mathbf{A}$的每一行相加。这种隐式地复制向量的方式被称作广播。

矩阵乘法(matrix product)：如果矩阵 $\mathbf{A}$ 的形状是 $m\times n$, 矩阵 $\mathbf{B}$ 的形状是 $n\times p$, 那么矩阵$\mathbf{C}$ 的形状是 $m\times p_{\text{。 }}$。矩阵乘法表示为
$$C=AB$$
具体地, 该乘法操作定义为
$$C$$