应用数学与机器学习基础 - 线性代数篇

线性代数

1. 标量、向量、矩阵、张量

学习线性代数，会涉及以下几个数学概念：

• 标量（scalar）：
  • 定义：一个标量就是一个单数的数，不同于线性代数中大多数概念会涉及到多个数。
  • 表示法：我们用斜体表示标量。标量通常赋予小写的变量名称。
  • 当我们介绍标量时，会明确它们是哪种类型的数。比如，在定义实数标量时，我们可能会说”让$s\in \mathbb{R}$表示一条线的斜率“；在定义自然数标量时，我们可能会说”$n\in \mathbb{N}$表示元素的数目“。
• 向量（vector）:
  • 定义：一个向量是一个列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。
  • 表示法：通常我们赋予向量粗体的小写变量名称，比如$\mathbf{x}$。向量中的元素可以通过带脚标的斜体表示。
  • 向量中元素表示法：向量$\mathbf{x}$的第一个元素是$x_1$，第二个元素是$x_2$，等等。
  • 我们也会注明存储在向量中的元素是什么类型的。如果每个元素都属于$\mathbb{R}$，并且该向量有$n$个元素，那么该向量属于实数集$\mathbb{R}$笛卡尔乘积$n$次，表示为${\mathbb{R}}^n$。
  • 当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵柱：
    $x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$
  • 另外，我们可以把向量看作空间中的点，每个元素是不同的坐标轴上的坐标。有时我们需要指定向量中某个集合的元素。在这种情况下，我们定义一个包含这些索引的集合，然后将该集合写在脚标处。比如，指定$x_1$， $x_2$ 和 $x_3$我们定义集合 S = { 1 , 2 , 3 } S = \{1,2,3\} S={1,2,3}，然后写作$x_S$。我们用符号 − 表示集合的补集中的索引。比如$x_{-1}$表示$x$中除$x_1$外的所有元素，$x_S$表示$x$中除，$x_1$， $x_2$，$x_3$外所有元素构成的向量。
• 矩阵（matrix）：
  • 定义：矩阵是二维数组，其中的每一个元素被两个索引所确定。
  • 矩阵表示法：通常会赋予矩阵粗体的大写变量名称，比如$\mathbf{A}$。如果一个实数矩阵高度为$m$，宽度为$n$，那么我们说$\mathbf{A}\in {\mathbb{R}}^{m\times n}$。
  • 矩阵中元素表示法：通常使用其名称以不加粗的斜体形式，索引用逗号间隔。
    • 左上元素：${\mathbf{A}}_{1,1}$表示$\mathbf{A}$左上的元素
    • 右下元素：${\mathbf{A}}_{m,n}$表示$\mathbf{A}$右下的元素
    • 所有行元素：${\mathbf{A}}_{i,:}$表示$\mathbf{A}$在$i$行上的所有元素
    • 所有列元素：${\mathbf{A}}_{:,i}$表示$\mathbf{A}$在$i$列上的所有元素
    • 需要明确表示矩阵中的元素时，我们会将元素排列成一个方括号包围的横柱：$\left[\begin{array}{cc}{\mathbf{A}}_{1,1}& {\mathbf{A}}_{1,2}\\ {\mathbf{A}}_{2,1}& {\mathbf{A}}_{2,2}\end{array}\right]$
    • 有时我们需要矩阵值表达式的索引。比如，$f(\mathbf{A}{)}_{i,j}$表示函数$f$作用在$\mathbf{A}$上输出的矩阵的第$(i,j)$个元素
• 张量（tensor）：
  • 定义：一组数据中的元素分布在若干维坐标的规则网络中，我们称之为张量。
  • 表示法：我们使用粗体的大写字母表示。比如$\mathbf{A}$。张量$\mathbf{A}$中的坐标$(i,j,k)$的元素记作$A_{i,j,k}$。
• 转置（transcope）：
  • 定义：是以从左上角到右下角的对角线为轴的矩阵镜像。这条对角线称为主对角线（main diagonal）。转置是矩阵的重要操作之一。
  • 表示法：${\mathbf{A}}^{\top }$表示$\mathbf{A}$的转置。定义如下：$({\mathbf{A}}^{\top }{)}_{i,j}={\mathbf{A}}_{j,i}$
  • 向量的转置：
    • 定义：向量可以看做是只有一列的矩阵，它的转置可以看作是只有一行的矩阵。
    • 表示法：有时，我们将向量表示成行矩阵的转置，写在行中，然后使用转置将其变为标准的列向量。比如$x={\left[x_1,x_2,x_3\right]}^{\top }$
  • 标量的转置：
    • 定义：标量可以看作是只有一个元素的矩阵。因此，标量的转置等于它本身，$a=a^{\top }$
• 矩阵相加：
  • 定义：指两个形状一样的矩阵对应位置的元素相加。比如$\mathbf{C}=\mathbf{A}+\mathbf{B}$，其中${\mathbf{C}}_{i,j}={\mathbf{A}}_{i,j}+{\mathbf{B}}_{i,j}$。
• 标量和矩阵相乘或相加：
  • 定义：将标量与矩阵的每个元素相乘或相加。比如$\mathbf{D}=a\cdot \mathbf{B}+c$，其中${\mathbf{D}}_{i,j}=a\cdot {\mathbf{B}}_{i,j}+c$
• 广播（broadcast）：
  • 在深度学习中，我们也使用一些不那么常规的的符号。我们允许矩阵和向量相加，产生另一个矩阵：$\mathbf{C}=\mathbf{A}+b$，其中${\mathbf{C}}_{i,j}={\mathbf{A}}_{i,j}+b_j$。换言之，向量$\mathbf{b}$和矩阵$A$的每一行相加。这个速记方法使我们无需在加法操作前定义复制向量$\mathbf{b}$到矩阵的每一行。这种隐式地复制向量$\mathbf{b}$到很多为止的方式，被称为广播（broadcasting）。

2. 矩阵和向量相乘

• 矩阵乘法是矩阵运算中最重要的操作之一。
• 定义：如果矩阵$\mathbf{A}$的形状是$m\times n$，矩阵$\mathbf{B}$的形状是$n\times p$，那么矩阵$\mathbf{C}$的形状是$m\times p$。
• 作用：矩阵乘积可以作用于两个或多个并在一起的矩阵。例如：$C=AB$。具体地，该乘法操作定义为：$C_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}$。注意：两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。
• 元素对应乘积（element-wise product）或Hadamard积（Hadamard product），表示为$\mathbf{A}\odot \mathbf{B}$
• 矩阵乘法运算性质：
  • 分配律：$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{AB}+\mathbf{AC}$
  • 结合律：$(\mathbf{AB})\mathbf{C}=\mathbf{A}(\mathbf{BC})$
  • 两个相同维数的向量$x$和$y$的点积（dot product）可看作是矩阵乘积$x^{\top }y$。我们可以把矩阵乘积$C=AB$中计算$C_{i,j}$的步骤看作是$A$的第$i$行和$B$的第$j$列之间的点积。
  • 矩阵乘积的转置：$(\mathbf{AB}{)}^{\top }={\mathbf{B}}^{\top }{\mathbf{A}}^{\top }$
  • 利用向量乘积是标量，标量转置是自身的事实，我们可以证明：$x^{\top }y=(x^{\top }y{)}^{\top }=y^{\top }x$
• 线性方程组：
  • 定义：线性方程组是矩阵和向量的乘积。
  • 表示法：
    $\mathbf{Ax}=\mathbf{b}$，其中$\mathbf{A}\in {\mathbb{R}}^{m\times n}$是一个已知矩阵，$\mathbf{b}$是一个已知向量，$\mathbf{x}$是一个要求解的未知向量。向量$\mathbf{x}$的每一个元素$x_i$都是未知的。矩阵$\mathbf{A}$的每一行和$\mathbf{b}$中对应的元素构成一个约束。即可以把$\mathbf{Ax}=\mathbf{b}$重写为：
    $\{\begin{array}{l}\begin{array}{c}{\mathbf{A}}_{1,:}x=b_1\\ {\mathbf{A}}_{2,:}x=b_2\\ ⋮\\ {\mathbf{A}}_{m,:}x=b_m\end{array}\end{array}$
    更明确地，可以写作：
    $\{\begin{array}{l}\begin{array}{c}{\mathbf{A}}_{1,1}{x}_1+{\mathbf{A}}_{1,2}{x}_2+\cdots {\mathbf{A}}_{1,n}{x}_n=b_1\\ {\mathbf{A}}_{2,1}{x}_1+{\mathbf{A}}_{2,2}{x}_2+\cdots {\mathbf{A}}_{2,n}{x}_n=b_2\\ ⋮\\ {\mathbf{A}}_{m,1}{x}_1+{\mathbf{A}}_{m,2}{x}_2+\cdots {\mathbf{A}}_{m,n}{x}_n=b_m\end{array}\end{array}$
    重要： 矩阵向量乘积符号为上面的等式提供了紧凑的表示。

3. 单位矩阵和逆矩阵

• 线性代数提供了被称为矩阵逆（Matrix Inverse）的强大工具，是我们能够解析地求解具有多值矩阵，如$\mathbf{A}$的方程组$\mathbf{Ax}=\mathbf{b}$。
• 单位矩阵（identity matrix）
  • 定义：任意向量和单位矩阵相乘，都不会改变。我们将保持$n$维向量不变的单位矩阵记作${\mathbf{I}}_n$。
  • 表示法：${\mathbf{I}}_n\in {\mathbb{R}}^{n\times n}$，$\forall x\in {\mathbb{R}}^n,{\mathbf{I}}_n\mathbf{x}=\mathbf{x}$
• 矩阵逆（matrix inverse）
  • 定义：如果矩阵$\mathbf{A}$的逆矩阵存在，那么我们可以将${\mathbf{A}}^{-1}$看作是$\mathbf{A}$的逆矩阵。定义为：${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_{\mathbf{n}}$
  • 表示法：矩阵$\mathbf{A}$的矩阵逆（matrix inverse）记作${\mathbf{A}}^{-1}$。
• 求解线性方程组$\mathbf{Ax}=\mathbf{b}$步骤：
  • 由${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_{\mathbf{n}}$、${\mathbf{I}}_{\mathbf{n}}\mathbf{x}=\mathbf{x}$，可以得出：${\mathbf{A}}^{-1}\mathbf{b}=\mathbf{x}$
  • 推导过程：
    $\{\begin{array}{l}\begin{array}{l}\mathbf{Ax}=\mathbf{b}\\ {\mathbf{A}}^{-1}\mathbf{Ax}={\mathbf{A}}^{-1}\mathbf{b}\\ {\mathbf{I}}_{\mathbf{n}}\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}\\ \mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}\end{array}\end{array}$

4. 线性相关和生成子空间

• 如果逆矩阵${\mathbf{A}}^{-1}$存在，那么$\mathbf{Ax}=\mathbf{b}$肯定对于每一个向量$\mathbf{b}$恰好存在一个解。但是，对于方程组而言，对于向量$\mathbf{b}$的某些值，有可能不存在解，或者存在无限多个解。存在多于一个解但是少于无限多个解的情况是不可能发生的；因为如果$\mathbf{x}$和$\mathbf{y}$都是某方程组的解，则：$z=\alpha \mathbf{x}+(1-\alpha )\mathbf{y}$，（其中$\alpha$取任意实数）也是该方程组的解。
• 为了分析方程有多个解，我们可以将$\mathbf{A}$的列向量看作是从原点（origin）（即元素都是零的向量）出发的不同方向，确定有多少种方法可以到达向量$\mathbf{b}$。在这个观点下，向量$\mathbf{x}$中的每个元素表示我们应该沿着这些方向走多远，即$x_i$表示我们需要沿着第$i$个向量的方向走多远：$\mathbf{Ax}=\sum _i{x}_i{\mathbf{A}}_{:,i}$
• 线性组合（linear combination）：
  • 定义：
    • 一般而言，这种操作被称为线性组合（linear combination）。形式上，一组向量的线性组合，是值每个向量乘以对应标量系数之后的和，即：$\sum _i{c}_i{\mathbf{v}}^{(i)}$
• 生成子空间（span）：
  • 定义：
    • 一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。
• 列空间（column space）：
  • 定义：
    • 确定$\mathbf{Ax}=\mathbf{b}$是否有解，相当于确定向量$\mathbf{b}$是否存在$\mathbf{A}$列向量的生成子空间。这个特殊的生成子空间被称为$\mathbf{A}$的列空间（column space）或者$\mathbf{A}$的值域（range）。
  • 为了使方程$\mathbf{Ax}=\mathbf{b}$对于任意向量$\mathbf{b}\in {\mathbb{R}}^m$都存在解，我们要求$\mathbf{A}$的列空间构成整个${\mathbb{R}}^m$。
    • 如果${\mathbb{R}}^m$中的某个点不在$\mathbf{A}$的列空间中，那么该点对应的$\mathbf{b}$会使得该方程没有解。
    • 矩阵$\mathbf{A}$的列空间是整个${\mathbb{R}}^m$的要求，意味着$\mathbf{A}$至少有$m$列，即$n\ge m$。否则，$\mathbf{A}$列空间的维数会小于$m$。
    • 例如，假设$\mathbf{A}$是一个$3\times 2$的矩阵。目标$\mathbf{b}$是3维的，但是$\mathbf{x}$只有2维。所以无论如何修改$\mathbf{x}$的值，也只能描绘出${\mathbb{R}}^3$空间中的二维平面。当且仅当向量$\mathbf{b}$在该二维平面中时，该方程有解。
    • 不等式$n\ge m$仅是方程对每一点都有解的必要条件。这不是一个充分条件，因为有些列向量可能是冗余的。
      • 假设有一个${\mathbb{R}}^{2\times 2}$中的矩阵，它的两个列向量是相同的。那么它的列空间和它的一个列向量作为矩阵的列空间是一样的。换言之，虽然该矩阵有2列，但是它的列空间仍然只是一条线，不能涵盖整个${\mathbb{R}}^2$空间。
• 线性相关（linear dependence）：
  • 正式地说，这种冗余被称为线性相关（linear dependence）。
    线性无关（linear independence）：
  • 如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量被称为线性无关（linear independence）。
• 如果某个向量是一组向量中某些向量的线性组合，那么我们将这个向量加入到这组向量后不会增加这组向量的生成子空间。这意味着，如果一个矩阵的列空间涵盖整个${\mathbb{R}}^m$，那么该矩阵必须包含至少一组$m$个线性无关的向量。这是式$\mathbf{Ax}=\mathbf{b}$对于每一个向量$\mathbf{b}$的取值都有解的充分必要条件。
• 值得注意的是，这个条件是说该向量集恰好有$m$个线性无关的列向量，而不是至少$m$个。不存在一个$m$维向量的集合具有多于$m$个彼此线性不相关的列向量，但是一个有多于$m$个列向量的矩阵却有可能拥有不止一个大小为$m$的线性无关向量集。
• 要想使矩阵可逆，我们还需要保证式$\mathbf{Ax}=\mathbf{b}$对于每一个$\mathbf{b}$值至多有一个解。为此，我们需要确保该矩阵至多有$m$个列向量。否则，该方程会有不止一个解。
• 综上所述，这意味着该矩阵必须是有一个方阵（square matrix），即$m=n$，并且所有列向量都是线性无关的。一个列向量线性相关的方阵被称作奇异矩阵（singular matrix）。
• 如果矩阵$\mathbf{A}$不是一个方阵或者是一个奇异的方阵，该方程仍然可能有解。但是我们不能使用矩阵逆去求解。
• 目前为止，我们已经讨论了逆矩阵左乘：${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_{\mathbf{n}}$。也可以定义逆矩阵右乘：$\mathbf{A}{\mathbf{A}}^{-1}=\mathbf{I}$。对于方阵而言，它的左逆和右逆是相等的。

5. 范数

• 范数（norm）：在机器学习领域，我们经常使用范数来衡量向量的大小。
• 定义：
  范数是一个函数，它衡量向量的大小。形式上，$L^p范数定义$如下：$\Vert \mathbf{x}{\Vert }_p={\left(\sum _i|x_i{|}^p\right)}^{\frac{1}{p}}$。其中，$p\in \mathbb{R},p\ge 1$。
  范数（包括$L^p$范数）是将向量映射到非负值的函数。直观上来说，向量$\mathbf{x}$的范数是衡量从原点到点$x$的距离。
• 更严格说，范数是满足下列性质的任意函数：
  • $f(\mathbf{x})=0\to \mathbf{x}=0$
  • $f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y})$ (三角不等式(triangle inequality))
  • $\forall \alpha \in \mathbb{R},f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})$
• $L^2$范数：
  • $L^2$范数：当$p=2$时，$L^2$被称为欧几里得范数（Euclidean norm）。它表示从原点出发到向量$\mathbf{x}$确定的点的欧几里得距离。（$L^2$范数）十分频繁地出现在机器学习中 ，经常简化表示为$\Vert \mathbf{x}\Vert$，省略了下标2。
  • 平方$L^2$范数：（平方$L^2$范数）也经常用来衡量向量的大小，可以简单地通过点击${\mathbf{x}}^T\mathbf{x}$计算。
  • 两者区别：
    • 平方$L^2$范数在数学和计算上都比$L^2$范数本身更方便。
    • 平方$L^2$范数对$\mathbf{x}$中每个元素的导数只取决于对应的元素，而$L^2$范数对$\mathbf{x}$中每个元素的导数取决于整个向量（即向量中所有元素）。
    • 在很多情况下，平方$L^2$范数也可能不受欢迎，因为它在原点附近增长得十分缓慢。
    • 在某些机器学习应用中，区分元素值恰好是零还是非零小值是很重要的。在这些情况下，我们更倾向于使用在各个位置斜率相同，同时保持简单的数学形式的函数：$L^1$范数。
• $L^1$范数：
  • $L^1$范数定义可以简化为：$\Vert \mathbf{x}{\Vert }_1=\sum _i|x_i|$。
  • 通常我们会使用$L^1$范数，来解决机器学习中零和非零元素之间的差异非常重要问题。每当$\mathbf{x}$中某个元素从0增加$ϵ$，对应的$L^1$范数也会增加$ϵ$。
• $L^0$范数：
  • 有时候我们会统计向量中非零元素的个数来衡量向量的大小。有些作者将这种函数称为“$L^0$范数”，但是这个术语在数学意义上是不对的。
  • 向量的非零元素的数目不是范数，因为对标量放缩$\alpha$倍不会改变该向量非零的数目。因此，$L^1$经常作为表示非零元素数目的替代函数。
• $L^{\infty }$范数：
  • 经常在机器学习中出现的$L^{\infty }$范数，也被称为$\mathbf{max}范数$（max norm）。它表示向量中具有最大幅度的元素的绝对值：$\Vert \mathbf{x}{\Vert }_{\infty }=\underset{i}{\max }|x_i|$。
• Frobenius范数：
  • 弗罗贝尼乌斯范数，简称F-范数，是一种矩阵范数。它表示矩阵中所有元素平方和的开方：$\Vert \mathbf{A}{\Vert }_F=\sqrt{\sum _{i,j}{A}_{ij}^2}$。
  • 在深度学习中，我们经常使用F-范数来衡量矩阵的大小。类似于向量的$L^2$范数。
• 两个向量的点积（dot product）可以用范数来表示。
  • 具体地，${\mathbf{x}}^T\mathbf{y}=\Vert \mathbf{x}{\Vert }_2\Vert \mathbf{y}{\Vert }_2\cos \theta$
  • 其中，$\theta$是向量$\mathbf{x}$和$\mathbf{y}$之间的夹角。

6. 特殊类型的矩阵和向量

• 有些特殊类型的矩阵和向量在机器学习中是特别有用的。
• 对角矩阵（diagonal matrix）：
  • 只在主对角线上含有非零元素，其他位置都是零。
  • 矩阵$\mathbf{D}$是对角矩阵，当且仅当对于所有的$i\ne j,{\mathbf{D}}_{i,j}=0$。
  • 对角方阵的乘法计算很高效。
  • 单位矩阵${\mathbf{I}}_n$是对角元素都是为1的对角矩阵。
    • 我们用$\text{diag}(\mathbf{v})$表示一个对角元素由向量$\mathbf{v}$中元素给定的对角方阵。
    • 计算乘法$\text{diag}(\mathbf{v})\mathbf{x}$，我们只需要将$\mathbf{x}$中的每个元素$x_i$放大为$v_i$倍。换言之，$\text{diag}(\mathbf{v})\mathbf{x}=\mathbf{v}\odot \mathbf{x}$。
• 对角矩阵的逆矩阵计算也很高效。
  • 对角矩阵的逆矩阵存在，当且仅当对角元素都是非零值，在这情况下，对角矩阵的逆矩阵是${\mathbf{D}}^{-1}=\text{diag}(\mathbf{v}{)}^{-1}=\text{diag}([\frac{1}{v_1},\dots ,\frac{1}{v_n}]{)}^{\top }$。
  • 在很多情况下，我们可以根据任意矩阵导出一些通用的机器学习算法。
  • 但通过将一些矩阵限制为对角矩阵，我们可以得到计算代价较低的（并且描述语言较少的）算法。
• $\star \star$不是所有的对角矩阵都是方阵。长方形的矩阵也可能是对角矩阵。长方形对角矩阵没有逆矩阵。但仍然可以很快地计算它们的乘法。
  • 对于一个长方形对角矩阵$\mathbf{D}$而言，乘法$\mathbf{Dx}$会涉及到$\mathbf{x}$中每个元素的放缩。
    • 如果$\mathbf{D}$是瘦长型矩阵，那么放缩后末尾添加一些零。
    • 如果$\mathbf{D}$是胖宽型矩阵，那么放缩后去掉最后一些元素。
• 对称（symmetric）矩阵是转置和自己相等的矩阵：$\mathbf{A}={\mathbf{A}}^{\top }$。
  • 当某些依赖参数顺序的双参数函数生成元素时，对称矩阵是很有用的。例如，如果$\mathbf{A}$是一个表示距离的矩阵，${\mathbf{A}}_{i,j}$表示点$i$到点$j$的距离，那么${\mathbf{A}}_{i,j}={\mathbf{A}}_{j,i}$，因为距离函数是对称的。
• 单位向量（unit vector）是具有单位范数（unit norm）即长度为1的向量：$\Vert \mathbf{x}{\Vert }_2=1$。
• 正交（orthogonal）：
  • 如果${\mathbf{x}}^{\top }\mathbf{y}=0$，那么向量$\mathbf{x}$和$\mathbf{y}$互相正交。
  • 如果两个向量有非零范数，那么这两个向量之间的夹角是90度。在${\mathbb{R}}^n$中，至多有$n$个范数非零向量互相正交。
  • 如果这些向量不仅互相正交，并且范数都为1，那么我们称他们是标准正交（orthonormal）。
• 正交矩阵（orthogonal matrix）：
  • 是指行向量是标准正交的，列向量是标准正交的方阵：${\mathbf{Q}}^{\top }\mathbf{Q}=\mathbf{I}$。这意味着${\mathbf{Q}}^{-1}={\mathbf{Q}}^{\top }$
  • 用于求逆矩阵的计算代价小。

7. 特征分解

• 许多数学对象可以通过将它们分解成多个组成部分，或者找到它们的一些属性而更好理解，这些属性是通用的，而不是由我们选择表示它们的方式引起的。
• 特征分解（eigendecomposition）是使用最广的是矩阵分解的之一，即我们将矩阵分解成一组特征向量和特征值。
• 方阵$\mathbf{A}$的特征向量（eigenvector）是指与$\mathbf{A}$相乘后相当于对该向量进行放缩的非零向量$\mathbf{v}$：$\mathbf{Av}=\lambda \mathbf{v}$。
  • 标量$\lambda$被称为这个特征向量对应的特征值（eigenvalue）。
  • 类似地，我们也可以定义左奇异向量（left singular vector）：${\mathbf{v}}^{\top }\mathbf{A}=\lambda {\mathbf{v}}^{\top }$
  • 但通常我们更关注右奇异向量（right singular vector）。
  • 如果$\mathbf{v}$是$\mathbf{A}$的特征向量，那么任何放缩后的向量$s\mathbf{v}(s\in \mathbb{R},s\ne 0)$也是$\mathbf{A}$的特征向量。此外，$s\mathbf{v}$和$\mathbf{v}$有相同的特征值。基于这个原因，通常我们只考虑单位特征向量。
• 矩阵$\mathbf{A}$的特征分解：
  • 假设$\mathbf{A}$有$n$个线性无关的特征向量 { v 1 , … , v n } \{\boldsymbol{v}_1,\ldots,\boldsymbol{v}_n\} {v1​,…,vn​}，对应的特征值 { λ 1 , ⋯   , λ n } \{\lambda_1, \cdots ,\lambda_n\} {λ1​,⋯,λn​}。我们将特征向量连接一个矩阵，使得每一列是一个特征向量：$\mathbf{V}=[{\mathbf{v}}_1\cdots {\mathbf{v}}_n]$。
    类似地，我们也可以将特征值连接成一个向量：$\mathbf{\lambda }=[{\lambda }_1\cdots {\lambda }_n{]}^{\top }$。
    因此，$\mathbf{A}$的特征分解（eigendecomposition）可以记作：$\mathbf{A}=\mathbf{V}\text{diag}(\mathbf{\lambda }){\mathbf{V}}^{-1}$。
  • 我们已经看到了构建剧透特定特征值和特征向量的矩阵，能够使我们在目标方向上延伸空间。然而，我们也常常希望将矩阵分解（decompose）成特征值和特征向量。
  • 不是每一个矩阵都可以分解成特征值和特征向量。在某些情况下，特征分解会涉及到复数，而非实数。
  • 每个实对称矩阵都可以分解成实特征值和实特征向量：$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\top }$。
    • 其中，$\mathbf{Q}$是$\mathbf{A}$的特征向量组成的正交矩阵，$\mathbf{\Lambda }$是对角矩阵。
    • 特征值${\Lambda }_{i,i}$对应的特征向量是矩阵$\mathbf{Q}$的第$i$列，记作${\mathbf{Q}}_{:,i}$。因为$\mathbf{Q}$是正交矩阵，我们可以将$\mathbf{A}$看作是沿方向${\mathbf{v}}_i$延展${\lambda }_i$倍的空间。
  • 虽然任意一个实对称矩阵$\mathbf{A}$都有特征分解，但是特征分解可能并不唯一。
  • 如果两个或多个特征向量拥有相同的特征值，那么这组特征向量生成子空间中，任意一组正交向量都是该特征值对特征向量。因此，我们可以使用任意一组正交向量作为$\mathbf{Q}$的特征向量。按照惯例，我们通常按降序排列$\Lambda$的条目。在该约定下，特征分解唯一当且仅当所有的特征值都是唯一的。
  • 矩阵的特征分解给出了很多有关于矩阵的有用信息。
    • 矩阵是奇异的当且仅当含有零特征值。
    • 实对称矩阵的特征分解也可以用于优化二次方程$f(\mathbf{x})={\mathbf{x}}^{\top }\mathbf{Ax}$，其中限制$\Vert \mathbf{x}{\Vert }_2=1$。
    • 当$\mathbf{x}$等于$\mathbf{A}$的某个特征向量时，$f$将返回对应的特征值。在限制条件下，函数$f$的最大值是最大特征值，最小值是最小特征值。
• 正定/半正定/负定/半负定：
  • 所有特征值都是正数的矩阵被称为正定（positive definite）
  • 所有特征值都是非负数的矩阵被称为半正定（positive semidefinite）
  • 所有特征值都是负数的矩阵被称为负定（negative definite）
  • 所有特征值都是非正数的矩阵被称为半负定（negative semidefinite）
  • 半正定矩阵保证：$\forall \mathbf{x},{\mathbf{x}}^{\top }\mathbf{Ax}\ge 0$
  • 正定矩阵保证：${\mathbf{x}}^{\top }\mathbf{Ax}=0⟹\mathbf{x}=0$

8. 奇异值分解（SVD）

• 分解矩阵的另一种分解方法：奇异值分解（singular value decomposition，SVD）。将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。
• 通过奇异值分解，我们得到一些类似特征分解的信息。
• 每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。例如，非方阵的矩阵没有特征分解，这时只能使用奇异值分解。
• 分解：
  • 将矩阵$\mathbf{A}$分解成三个矩阵的乘积：$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$。
  • 假设$\mathbf{A}$是$m\times n$的矩阵，那么$\mathbf{U}$是一个$m\times m$的矩阵，$\mathbf{\Sigma }$是一个$m\times n$的矩阵，$\mathbf{V}$是一个$n\times n$的矩阵。
  • 这些矩阵每一个都拥有特殊的结构。矩阵$\mathbf{U}$和$\mathbf{V}$是正交矩阵，而$\mathbf{\Sigma }$是一个对角矩阵。注意，矩阵$\mathbf{\Sigma }$不一定是方阵。
  • 对角矩阵$\mathbf{\Sigma }$对角线上的元素被称为矩阵$\mathbf{A}$的奇异值。
  • 矩阵$\mathbf{U}$的列向量被称为左奇异向量（left singular vector）
  • 矩阵$\mathbf{V}$的列向量被称为右奇异向量（right singular vector）
  • 事实上，我们可以用与$\mathbf{A}$相关的特征分解$\mathbf{A}$的奇异值分解。
    • $\mathbf{A}$的左奇异向量（left singular vector）是$\mathbf{A}{\mathbf{A}}^{\top }$的特征向量。
    • $\mathbf{A}$的右奇异向量（right singular vector）是${\mathbf{A}}^{\top }\mathbf{A}$的特征向量。
    • $\mathbf{A}$的非零奇异值是${\mathbf{A}}^{\top }\mathbf{A}$特征值的平方根，同时也是$\mathbf{A}{\mathbf{A}}^{\top }$特征值的平方根。
• SVD最有用的一个性质可能是拓展矩阵求逆到非方阵上。

9. Moore-Penrose伪逆（穆尔-彭罗斯）

• 对于非方阵而言，其逆矩阵没有定义。假设在下面的问题，我们希望通过矩阵$\mathbf{A}$的左逆$\mathbf{B}$来求解线性方程，$\mathbf{A}\mathbf{x}=\mathbf{y}$。
  • 等式两边左乘左逆$\mathbf{B}$后，得到$\mathbf{B}\mathbf{A}\mathbf{x}=\mathbf{B}\mathbf{y}，\mathbf{x}=\mathbf{B}\mathbf{y}$。
  • 是否存在一个唯一的映射，将$\mathbf{A}$映射到$\mathbf{B}$，取决于问题的形式。
  • 如果矩阵$\mathbf{A}$的行数大于列数，那么上述方程可能没有解。
  • 如果矩阵$\mathbf{A}$的行数小于列数，那么上述矩阵可能有多个解。
• 矩阵$\mathbf{A}$的伪逆定义为：${\mathbf{A}}^{+}=\underset{a\to 0}{\lim }({\mathbf{A}}^{\top }\mathbf{A}+\alpha \mathbf{I}{)}^{-1}{\mathbf{A}}^{\top }$。
  • 计算伪逆的实际算法是使用公式：${\mathbf{A}}^{+}=\mathbf{V}{\mathbf{\Sigma }}^{+}{\mathbf{U}}^{\top }$。
  • 其中，矩阵$\mathbf{U}$，$\mathbf{\Sigma }$和$\mathbf{V}$是矩阵$\mathbf{A}$奇异值分解后得到的矩阵。
  • 对角矩阵$\mathbf{\Sigma }$的伪逆${\mathbf{\Sigma }}^{+}$是其非零元素取倒数之后再转置得到的。
  • 当矩阵$\mathbf{A}$的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种。具体地，$\mathbf{x}={\mathbf{A}}^{+}\mathbf{y}$是方程所有可行解中欧几里得范数$\Vert x{\Vert }_2$最小的一个。
  • 当矩阵$\mathbf{A}$的行数多于列数时，可能没有解。在这种情况下，通过伪逆得到的$\mathbf{x}$是使得$\mathbf{Ax}$和$\mathbf{y}$的欧几里得距离$\Vert \mathbf{Ax}-\mathbf{y}{\Vert }_2$最小的解。

10. 迹运算

• 迹运算返回的是矩阵对角元素的和：$\text{tr}(\mathbf{A})=\sum _{i=1}^n{A}_{ii}$。
• 迹运算提供了另一种描述矩阵Frobenius范数的方式：$\Vert \mathbf{A}{\Vert }_F=\sqrt{\text{Tr}(\mathbf{A}{\mathbf{A}}^{\top })}$。
• 迹运算在转置运算下是不变的：$\text{Tr}({\mathbf{A}}^{\top })=\text{Tr}(\mathbf{A})$。
• 多个矩阵乘积的迹运算：$\text{Tr}(\mathbf{ABC})=\text{Tr}(\mathbf{CAB})=\text{Tr}(\mathbf{BCA})$。
• 标量的迹运算：$a=\text{Tr}(a)$。标量在迹运算后仍然是它自己。

11. 行列式

• 行列式，记作$\text{det}(\mathbf{A})$，是一个将方阵$\mathbf{A}$映射到实数的函数。行列式等于矩阵特征值的乘积。行列式的绝对值可以用来衡量矩阵相乘后空间扩大或者缩小了多少。