【机器学习的数学基础】（六）矩阵分解(Matrix Decomposition)(上)

4 矩阵分解(Matrix Decompositions)(上)

在第2章和第3章中，我们研究了如何操作和度量向量以及向量的投影和线性映射。向量的映射和变换可以描述为由矩阵执行的操作。此外，矩阵还可以表示数据。例如，矩阵的行表示不同的人，列描述不同的人的特征，例如体重、身高和社会经济地位。在本章中，我们将介绍矩阵的三个方面：如何概括矩阵，如何分解矩阵，以及如何利用矩阵分解进行矩阵近似。

我们首先讨论用几个数字来描述矩阵的方法，这些数字代表了矩阵的整体性质。接着，我们将在行列式(第4.1节)和特征值(第4.2节)的章节中讨论方阵这一特殊情况。这些特征性的数代表重要的数学结论，使我们能够迅速了解到矩阵具有哪些有用的性质。然后我们将学习矩阵分解的方法：矩阵分解的一个类比是因数分解(factoring of numbers)，例如将21分解成质数7·3。因此，矩阵分解也经常被称为matrix factorization。矩阵分解可以描述为：以矩阵作为因子，通过这些因子相乘表示另一个矩阵。

我们将首先讨论对称正定矩阵的类平方根运算，即Cholesky分解(第4.3节)。从这里我们将看到两个将矩阵分解成标准形式的相关方法。第一个是所谓的矩阵对角化(第4.4节)，它允许我们使用对角变换矩阵来表示线性映射，前提是我们要选择一个合适的基。第二种方法是奇异值分解(第4.5节)，将矩阵分解扩展到非方阵矩阵，它被认为是线性代数的基本概念之一。这些分解是很有用的，因为矩阵表示的数字数据通常非常大，很难分析。在本章的结尾，我们系统地概述了矩阵的类型以及划分矩阵类型的特征属性（第4.7节）。

本章所涉及的方法在随后的数学性的章节(如第6章)和应用性的章节(如第10章的降维或第11章的密度估计)中都很重要。图4.1的思维导图描述了本章的总体结构。

图 4.1本章介绍的概念的思维导图，以及它们在书的其他部分的应用。

4.1 行列式与迹

行列式是线性代数中的重要概念。行列式是分析和求解线性方程组的一个数学对象。行列式只适用于方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，即行数和列数相同的矩阵。在这本书中，我们把行列式写成$\det (\mathbf{A})$，有时写成$|\mathbf{A}|$（注意不要与绝对值混淆）：
$$\det (\mathbf{A})=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& & \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|$$

方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的行列式(determinant) 可以看作是将$\mathbf{A}$映射到一个实数的函数。

在给出一般$n\times n$矩阵行列式的定义之前，让我们先看一些例子，并定义一些特殊矩阵的行列式。

例 4.1 矩阵可逆性检验

让我们从探讨方阵$\mathbf{A}$是否可逆开始。我们已经知道如何判断最小的矩阵是否可逆了：如果$\mathbf{A}$是一个$1\times 1$的矩阵，即它是一个标量，那么$A=a⟹A^{-1}=\frac{1}{a}$，对于$a\ne 0$，$a\frac{1}{a}=1$成立。

对于$2\times 2$的矩阵，通过逆的定义(定义2.3)，我们可以知道$\mathbf{A}{\mathbf{A}}^{-1}=\mathbf{I}$。由公式(2. 24)，我们知道$\mathbf{A}$的逆为：
$${\mathbf{A}}^{-1}=\frac{1}{a_{11}{a}_{22}-a_{12}{a}_{21}}\left[\begin{array}{cc}{a}_{22}& -a_{12}\\ -a_{21}& a_{11}\end{array}\right]$$

因此，$\mathbf{A}$可逆当且仅当：
$$a_{11}{a}_{22}-a_{12}{a}_{21}\ne 0$$
这个量就是$\mathbf{A}\in {\mathbb{R}}^{2\times 2}$的行列式，即：
$$\det (\mathbf{A})=\left|\begin{array}{ll}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$

例4.1已经指出了行列式和逆矩阵存在性之间的关系。下面的定理将说明$n\times n$矩阵的相同结论。

定理 4.1

对于任意方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$当且仅当$\det (\mathbf{A})\ne 0$时，$\mathbf{A}$可逆。

对于小矩阵的行列式，我们有显式的表达式。如对于$n=1$，
$$\det (\mathbf{A})=\det \left(a_{11}\right)=a_{11}$$
对于$n=2$：
$$\det (\mathbf{A})=\left|\begin{array}{ll}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}(4.6)$$
对于$n=3$（被称为Sarrus’ rule）：
$$\begin{array}{l}\left|\begin{array}{lll}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}{a}_{22}{a}_{33}+a_{21}{a}_{32}{a}_{13}+a_{31}{a}_{12}{a}_{23}\\ -a_{31}{a}_{22}{a}_{13}-a_{11}{a}_{32}{a}_{23}-a_{21}{a}_{12}{a}_{33}\end{array}(4.7)$$

如果对于$i>j$，${\mathbf{T}}_{ij}=0$，即矩阵的对角线以下为零，则我们称$\mathbf{T}$为上三角矩阵(upper-triangular matrix)。类似地，我们将下三角矩阵定义为在其对角线以上都为零的矩阵。对于一个三角矩阵$\mathbf{T}\in {\mathbb{R}}^{n\times n}$，其行列式是其对角元素的积：
$$\det (\mathbf{T})=\prod _{i=1}^n{T}_{ii}$$

图4.2 由向量$\mathbf{b}$和$\mathbf{g}$张成的平行四边形(阴影区域)的面积为$|\det ([\mathbf{b},\mathbf{g}])|$。

例 4.2 行列式度量体积

当我们把行列式看作是一组$n$个的向量(张成了${\mathbb{R}}^n$中的一个对象)的映射时，它的概念很自然地表明行列式$\det (\mathbf{A})$是由矩阵$\mathbf{A}$的列构成的$n$维平行六面体(平行六面体)的有符号体积。

对于$n=2$，矩阵的列形成平行四边形；如图4.2。随着向量之间的夹角变小，平行四边形的面积也会缩小。考虑构成矩阵$\mathbf{A}=[\mathbf{b},\mathbf{g}]$列的两个向量$\mathbf{b},\mathbf{g}$。那么，$\mathbf{A}$行列式的绝对值就是$0,\mathbf{b},\mathbf{g},\mathbf{b}+\mathbf{g}$围成的平行四边形的面积，特别地如果$\mathbf{b},\mathbf{g}$是线性相关的，即对于某些$\lambda \in \mathbb{R}$，$\mathbf{b}=\lambda \mathbf{g}$，它们就不再形成一个二维平行四边形了。因此相应的区域面积为0。相反，如果$\mathbf{b},\mathbf{g}$是线性独立的，并且是规范基向量${\mathbf{e}}_1,{\mathbf{e}}_2$的倍数，那么它们可以写成$\mathbf{b}=\left[\begin{array}{l}b\\ 0\end{array}\right]$和$\mathbf{g}=\left[\begin{array}{l}0\\ g\end{array}\right]$，其行列式是$\left|\begin{array}{ll}b& 0\\ 0& g\end{array}\right|=bg-0=bg$。

这就是我们熟悉的公式:面积=高度×长度。行列式的符号表示张成向量$\mathbf{b},\mathbf{g}$相对于标准基$\left({\mathbf{e}}_1,{\mathbf{e}}_2\right)$的方向。在我们的图4.2中，将向量顺序颠倒为$\mathbf{g}$, $\mathbf{b}$即交换 $\mathbf{A}$的列和颠倒阴影区域的方向。（这里这本书讲的一般，推荐一个视频https://www.bilibili.com/video/BV1ys411472E?p=7 (05:07)）

这可以延伸到更高的维度。在${\mathbb{R}}^3$中，我们考虑三个向量$\mathbf{r},\mathbf{b},\mathbf{g}\in {\mathbb{R}}^3$，它们张成平行六面体的边，即各个面为平行四边形的实体，如图4.3。

图4.3 由向量$\mathbf{r}$，$\mathbf{g}$，$\mathbf{b}$张成的平行六面体(阴影区域)的体积为$|\det ([\mathbf{r},\mathbf{b},\mathbf{g}])|$。

$3\times 3$矩阵$[\mathbf{r},\mathbf{b},\mathbf{g}]$行列式的绝对值是六面体的体积。因此，行列式充当一个函数，用于测量由矩阵中的列向量构成的有符号体积。

考虑三个线性独立的向量$\mathbf{r},\mathbf{g},\mathbf{b}\in {\mathbb{R}}^3$：
$$\mathbf{r}=\left[\begin{array}{c}2\\ 0\\ -8\end{array}\right],\mathbf{g}=\left[\begin{array}{l}6\\ 1\\ 0\end{array}\right],\mathbf{b}=\left[\begin{array}{c}1\\ 4\\ -1\end{array}\right]$$
把这些向量写成矩阵的列：
$$\mathbf{A}=[\mathbf{r},\mathbf{g},\mathbf{b}]=\left[\begin{array}{ccc}2& 6& 1\\ 0& 1& 4\\ -8& 0& -1\end{array}\right]$$

允许我们计算所需的体积：
$$V=|\det (\mathbf{A})|=186$$

对于$n\times n$矩阵的行列式，需要一个通用的算法来解决$n>3$的情况，我们将在下面探讨这个问题。定理4.2将计算$n\times n$矩阵的行列式的问题简化为计算$（n-1）\times （n-1）$矩阵的行列式。通过递归地应用拉普拉斯展开（定理 4.2），我们最终可以通过计算$2\times 2$矩阵的行列式来计算$n\times n$矩阵的行列式。

定理 4.2 拉普拉斯展开 (Laplace Expansion)

考虑一个矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，那么，对于所有$j=1,\dots ,n$，有：

1、 沿$j$列扩展
$$\det (\mathbf{A})=\sum _{k=1}^n(-1{)}^{k+j}{a}_{kj}\det \left({\mathbf{A}}_{k,j}\right)$$

2、 沿$j$行扩展
$$\det (\mathbf{A})=\sum _{k=1}^n(-1{)}^{k+j}{a}_{jk}\det \left({\mathbf{A}}_{j,k}\right)$$

这里，${\mathbf{A}}_{k,j}\in {\mathbb{R}}^{(n-1)\times (n-1)}$是$\mathbf{A}$去除行$k$和列$j$后得到的子矩阵。

例 4.3 拉普拉斯展开

让我们计算
$$\mathbf{A}=\left[\begin{array}{lll}1& 2& 3\\ 3& 1& 2\\ 0& 0& 1\end{array}\right]$$
的行列式。沿着第一行使用拉普拉斯展开：
$$\begin{array}{rl}\left|\begin{array}{lll}1& 2& 3\\ 3& 1& 2\\ 0& 0& 1\end{array}\right|=& (-1{)}^{1+1}\cdot 1\left|\begin{array}{ll}1& 2\\ 0& 1\end{array}\right|\\ & +(-1{)}^{1+2}\cdot 2\left|\begin{array}{ll}3& 2\\ 0& 1\end{array}\right|+(-1{)}^{1+3}\cdot 3\left|\begin{array}{ll}3& 1\\ 0& 0\end{array}\right|\end{array}$$
用(4.6)计算所有$2\times 2$矩阵的行列式，得到：
$$\det (\mathbf{A})=1(1-0)-2(3-0)+3(0-0)=-5$$

我们还可以将此结果与使用Sarrus规则(4.7)计算得到的结果进行比较：
$$\det (\mathbf{A})=1\cdot 1\cdot 1+3\cdot 0\cdot 3+0\cdot 2\cdot 2-0\cdot 1\cdot 3-1\cdot 0\cdot 2-3\cdot 2\cdot 1=1-6=-5$$

对于$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，行列式具有以下特性：

• 矩阵相乘的行列式是相应行列式的乘积,即$\det (\mathbf{A}\mathbf{B})=\det (\mathbf{A})\det (\mathbf{B})$
• 矩阵转置不改变行列式的值，即$\det (\mathbf{A})=\det \left({\mathbf{A}}^{\top }\right)$
• 如果$\mathbf{A}$是正则的（可逆的），$\det \left({\mathbf{A}}^{-1}\right)=\frac{1}{\det (\mathbf{A})}$
• 相似矩阵（定义2. 22）具有相同的行列式。因此，对于线性映射$\Phi :V\to V$，$\Phi$的所有变换矩阵${\mathbf{A}}_{\Phi }$都具有相同的行列式。因此，线性映射基的选择不影响行列式的值。
• 将一列/行的倍数添加到另一列/行不会更改$\det (\mathbf{A})$。
• 用标量$\lambda \in \mathbb{R}$乘矩阵$\mathbf{A}$的行/列，将$\lambda$倍缩放$\det (\mathbf{A})$。特别地，$\det (\lambda \mathbf{A})={\lambda }^n\det (\mathbf{A})$
• 交换两行/列将更改$\det (\mathbf{A})$的符号。

利用最后三个属性，我们可以使用高斯消去法通过将$\det (\mathbf{A})$变换为行阶梯型来简化计算$\det (\mathbf{A})$。使用高斯消元法直到我们得到三角形矩阵，其对角线以下都是0。而三角形矩阵的行列式是对角线元素的乘积。

定理 4.3

一个方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的行列式$\det (\mathbf{A})\ne 0$，当且仅当$\mathrm{rk}(\mathbf{A})=n$。换句话说，$\mathbf{A}$可逆当且仅当它是满秩的。

当人手工计算时，行列式计算被认为是分析矩阵可逆性的一种基本方法。然而，现代的机器学习方法使用直接的数值方法来代替行列式的显式计算。例如，在线性代数那一章中，我们了解到逆矩阵可以通过高斯消元法来计算。高斯消元法可以用来计算矩阵的行列式。

行列式将在以下章节中发挥重要的理论作用，特别是当我们通过特征多项式求解特征值和特征向量时。

定义 4.4

方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的迹(trace) 定义为：
$$\mathrm{tr}(\mathbf{A}):=\sum _{i=1}^n{a}_{ii}$$
即，迹是$\mathbf{A}$对角元素之和。

迹满足以下属性：

• 对于$\mathbf{A},\mathbf{B}\in {\mathbb{R}}^{n\times n}$，$\mathrm{tr}(\mathbf{A}+\mathbf{B})=\mathrm{tr}(\mathbf{A})+\mathrm{tr}(\mathbf{B})$
• 对于$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，$\mathrm{tr}(\alpha \mathbf{A})=\alpha \mathrm{tr}(\mathbf{A}),\alpha \in \mathbb{R}$
• $\mathrm{tr}\left({\mathbf{I}}_n\right)=n$
• 对于$\mathbf{A}\in {\mathbb{R}}^{n\times k},\mathbf{B}\in {\mathbb{R}}^{k\times n}$，$\mathrm{tr}(\mathbf{A}\mathbf{B})=\mathrm{tr}(\mathbf{B}\mathbf{A})$

可以证明，只有一个函数同时满足这四个属性——迹(Gohberg et al., 2012)。

第四个属性更一般地，在循环置换下矩阵积的迹是不变的，即对于矩阵$\mathbf{A}\in {\mathbb{R}}^{a\times k},\mathbf{K}\in {\mathbb{R}}^{k\times l},\mathbf{L}\in {\mathbb{R}}^{l\times a}$：
$$\mathrm{tr}(\mathbf{A}\mathbf{K}\mathbf{L})=\mathrm{tr}(\mathbf{K}\mathbf{L}\mathbf{A})(4.19)$$

这个性质可以推广到任意个矩阵的乘积。作为(4.19)的一个特例，对于两个向量$\mathbf{x},\mathbf{y}\equiv {\mathbb{R}}^n$，有：
$$\mathrm{tr}\left(\mathbf{x}{\mathbf{y}}^{\top }\right)=\mathrm{tr}\left({\mathbf{y}}^{\top }\mathbf{x}\right)={\mathbf{y}}^{\top }\mathbf{x}\in \mathbb{R}$$

给定一个线性映射$\Phi :V\to V$，其中$V$为向量空间，我们定义映射$\Phi$的迹为该映射的矩阵表示的迹。对于给定的$V$的基，我们可以用变换矩阵$\mathbf{A}$来描述$\Phi$。那么$\Phi$的迹就是$\mathbf{A}$的迹。对于$V$另一个不同的基，$\Phi$相应的变换矩阵$\mathbf{B}$可选取适当$\mathbf{S}$,通过${\mathbf{S}}^{-1}\mathbf{A}\mathbf{S}$形式的基变换获得。对于$\Phi$相应的迹，有：
$$\mathrm{tr}(\mathbf{B})=\mathrm{tr}\left({\mathbf{S}}^{-1}\mathbf{A}\mathbf{S}\right)\stackrel{(4.19)}{=}\mathrm{tr}\left(\mathbf{A}\mathbf{S}{\mathbf{S}}^{-1}\right)=\mathrm{tr}(\mathbf{A})$$
因此，线性映射的矩阵表示依赖于基，而线性映射$\Phi$的迹独立于基。

在这一节中，我们将行列式和迹作为描述方阵的函数来讨论。结合我们对行列式和迹的理解，我们现在可以定义一个重要方程，用多项式来描述矩阵$\mathbf{A}$，我们将在下面的部分中广泛使用它。

定义 5.5 特征多项式

对于$\lambda \in \mathbb{R}$和一个方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，
$$\begin{array}{rl}{p}_{\mathbf{A}}(\lambda )& :=\det (\mathbf{A}-\lambda \mathbf{I})\\ & =c_0+c_1\lambda +c_2{\lambda }^2+\cdots +c_{n-1}{\lambda }^{n-1}+(-1{)}^n{\lambda }^n\end{array}$$
为特征多项式((Characteristic Polynomial))。其中$c_0,\dots ,c_{n-1}\in \mathbb{R}$
特别地，
$$\begin{array}{rl}{c}_0& =\det (\mathbf{A})\\ c_{n-1}& =(-1{)}^{n-1}\mathrm{tr}(\mathbf{A})\end{array}$$

特征多项式将允许我们计算特征值和特征向量，这将在下一节中介绍。

4.2 特征值和特征向量

现在我们将了解一种新的方法来描述矩阵及其相关的线性映射。回想线性代数中2.71节的线性映射，给定一个有序基，线性映射都对应唯一的变换矩阵。我们可以通过“eigen”分析(eigen是一个德语单词，意思是“characteristic”、“self”或“own”。)来解释线性映射和相关的变换矩阵。正如我们将看到的，线性映射的特征值将告诉我们一组特殊的向量，即特征向量，是如何被线性映射转化得到的。

定义 4.6

令$\mathbf{A}\in {\mathbb{R}}^{n\times n}$为一个方阵。
$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$$

我们称这个方程为特征方程(eigenvalue equation)。其中$\lambda \in \mathbb{R}$为$\mathbf{A}$的特征值(eigenvalue)， x ∈ R n \ { 0 } \boldsymbol{x} \in \mathbb{R}^{n} \backslash\{\mathbf{0}\} x∈Rn\{0}为相应的特征向量(eigenvector)。

备注：

在线性代数文献和软件中，通常有一种惯例，即特征值按降序排列，因此最大的特征值和相关的特征向量称为第一特征值和它的相关特征向量，第二大的特征值和相关的特征向量称为第二特征值和它的相关特征向量，依此类推。然而，教科书和出版物可能有不同或没有顺序的概念。如果没有明确说明，本书的特征值是无序的。

以下说法是等效的：

• $\lambda$是$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的特征值。
• 存在 x ∈ R n \ { 0 } \boldsymbol{x} \in \mathbb{R}^{n} \backslash\{\mathbf{0}\} x∈Rn\{0}，使得$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$，或等价地，$(\mathbf{A}-\lambda {\mathbf{I}}_n)\mathbf{x}=0$有非平凡解，即$\mathbf{x}\ne 0$
• $\mathrm{rk}\left(\mathbf{A}-\lambda {\mathbf{I}}_n\right)<n$
• $\det \left(\mathbf{A}-\lambda {\mathbf{I}}_n\right)=0$

定义 4.7共线性和共向性

指向同一方向的两个向量称为共向的(codirected)。如果两个向量指向相同或相反的方向，则它们是共线的(collinear)。

备注：（特征向量的非唯一性）

如果$\mathbf{x}$是$\mathbf{A}$关于特征值$\lambda$的特征向量。那么，对于任意 c ∈ R \ { 0 } c \in \mathbb{R} \backslash\{0\} c∈R\{0}，$c\mathbf{x}$是$\mathbf{A}$的特征向量，且对应于相同的特征值，因为：
$$\mathbf{A}(c\mathbf{x})=c\mathbf{A}\mathbf{x}=c\lambda \mathbf{x}=\lambda (c\mathbf{x})$$

因此，与$\mathbf{x}$共线的所有向量也是$\mathbf{A}$的特征向量。

定理 4.8

$\lambda \in \mathbb{R}$为$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的特征值当且仅当$\lambda$是$\mathbf{A}$的特征方程$p_A(\lambda )$的根。

定理 4.9

设方阵$\mathbf{A}$有一个特征值${\lambda }_i$。${\lambda }_i$的代数重数( algebraic multiplicity) 是指根${\lambda }_i$在特征多项式中出现的次数。

定理 4.10 特征空间和特征谱

对于$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，$\mathbf{A}$对应于特征值$\lambda$的特征向量集合张成${\mathbb{R}}^n$的子空间，这个子空间称为$\mathbf{A}$关于$\lambda$的特征空间(eigenspace)，记为：$E_{\lambda }$。$\mathbf{A}$的特征值构成的集合称为特征谱(eigenspectrum)，或$\mathbf{A}$的谱。

例 4.4 单位矩阵的情况

单位矩阵$\mathbf{I}\in {\mathbb{R}}^{n\times n}$的特征方程为$p_I(\lambda )=\det (\mathbf{I}-\lambda \mathbf{I})=(1-\lambda {)}^n=0$，它只拥有$\lambda =1$这个特征值并出现$n$次。而且,对于任意 x ∈ R n \ { 0 } \boldsymbol{x} \in \mathbb{R}^{n} \backslash\{\mathbf{0}\} x∈Rn\{0}，$\mathbf{I}\mathbf{x}=\lambda \mathbf{x}=1\mathbf{x}$成立。因此，单位矩阵的唯一特征空间$E_1$张成$n$维，${\mathbb{R}}^n$的$n$个标准基向量都是$\mathbf{I}$的特征向量。

关于特征值和特征向量的常用特性包括：

• 矩阵$\mathbf{A}$及其转置${\mathbf{A}}^{\top }$具有相同的特征值，但不一定具有相同的特征向量。
• 特征空间$E_{\lambda }$是$\mathbf{A}-\lambda \mathbf{I}$的零空间，因为：
  $$\begin{array}{rl}\mathbf{A}\mathbf{x}=\lambda \mathbf{x}& ⟺\mathbf{A}\mathbf{x}-\lambda \mathbf{x}=0\\ & ⟺(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0⟺\mathbf{x}\in \ker (\mathbf{A}-\lambda \mathbf{I})\end{array}$$
• 相似矩阵(定义2.22)具有相同的特征值。基变换得到的是相似矩阵。因此，线性映射$\Phi$的特征值与它的变换矩阵的基的选择无关。这使得特征值、行列式和迹成为线性映射的关键特征参数，因为它们在基变化下都是不变的。
• 对称正定矩阵总是有正的实特征值。

例 4.5 计算特征值、特征向量和特征空间

求下面$2\times 2$矩阵的特征值和特征向量
$$\mathbf{A}=\left[\begin{array}{ll}4& 2\\ 1& 3\end{array}\right]$$
Step 1 特征多项式

根据特征向量$x\ne 0$和$\mathbf{A}$的特征值$\lambda$的定义，得到$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$，即$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0$。由于$\mathbf{x}\ne 0$，这要求$\mathbf{A}-\lambda \mathbf{I}$的核（零空间）包含其他元素而不只是$0$。这意味着$\mathbf{A}-\lambda \mathbf{I}$不可逆，即有$\det (\mathbf{A}-\lambda \mathbf{I})=0$。因此，我们需要计算特征多项式的根来找到特征值。

Step 2 特征值

特征多项式为：
$$\begin{array}{rl}{p}_A(\lambda )& =\det (\mathbf{A}-\lambda \mathbf{I})\\ & =\det \left(\left[\begin{array}{ll}4& 2\\ 1& 3\end{array}\right]-\left[\begin{array}{ll}\lambda & 0\\ 0& \lambda \end{array}\right]\right)=\left|\begin{array}{cc}4-\lambda & 2\\ 1& 3-\lambda \end{array}\right|\\ & =(4-\lambda )(3-\lambda )-2\cdot 1\end{array}$$
对特征多项式进行因式分解，得到
$$p(\lambda )=(4-\lambda )(3-\lambda )-2\cdot 1=10-7\lambda +{\lambda }^2=(2-\lambda )(5-\lambda )$$
得到根${\lambda }_1=2$和${\lambda }_2=5$

Step 3 特征向量与特征空间

我们通过观察向量$\mathbf{x}$找到对应于这些特征值的特征向量，使得
$$\left[\begin{array}{cc}4-\lambda & 2\\ 1& 3-\lambda \end{array}\right]\mathbf{x}=0$$
对于$\lambda =5$，我们得到：
$$\left[\begin{array}{cc}4-5& 2\\ 1& 3-5\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{cc}-1& 2\\ 1& -2\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]=0$$
我们求解这个齐次方程组并得到一个解空间
$$E_5=\mathrm{span}[\left[\begin{array}{l}2\\ 1\end{array}\right]].$$

这个特征空间是一维的，因为它只有一个基向量。

类似地，我们通过求解齐次方程组找到$\lambda =2$的特征向量
$$\left[\begin{array}{cc}4-2& 2\\ 1& 3-2\end{array}\right]\mathbf{x}=\left[\begin{array}{ll}2& 2\\ 1& 1\end{array}\right]\mathbf{x}=0$$
这意味着对于任何$x_2=-x_1$的向量$\mathbf{x}=\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]$，例如$\left[\begin{array}{c}1\\ -1\end{array}\right]$是特征值2的特征向量。相应的特征空间如下所示
$$E_2=\mathrm{span}[\left[\begin{array}{c}1\\ -1\end{array}\right]]$$

例4.5中的两个特征空间$E_5$和$E_2$都是一维的，因为它们各自由一个向量张成。然而，在其他情况下，我们可能有多个相同的特征值(见定义4.9)，则特征空间可能不止一维。

定义 4.11

设${\lambda }_i$是方阵$\mathbf{A}$的特征值，则${\lambda }_i$的几何重数(geometric multiplicity) 是与${\lambda }_i$对应的线性无关特征向量的个数。换句话说，它是由与${\lambda }_i$对应的特征向量所张成的特征空间的维数。

备注：

一个特定的特征值的几何重数至少是一，因为每个特征值至少有一个对应的特征向量。特征值的几何重数不能超过其代数重数，但可以比它小。

例 4.6
矩阵$A=\left[\begin{array}{ll}2& 1\\ 0& 2\end{array}\right]$有两个重复的特征值${\lambda }_1={\lambda }_2=2$，代数重数为2。这个特征值只有一个单位特征向量${\mathbf{x}}_1=\left[\begin{array}{l}1\\ 0\end{array}\right]$，所以它的几何重数为1。
.

图解行列式、特征向量和特征值：

图 4.4 行列式和特征空间。五种线性映射及其相关变换矩阵${\mathbf{A}}_i\in {\mathbb{R}}^{2\times 2}$的概述，它们将400个彩色编码点$\mathbf{x}\in {\mathbb{R}}^2$（左列）投影到目标点${\mathbf{A}}_i\mathbf{x}$（右列）上。中心列表示$第一特征向量$，由其相关特征值${\lambda }_1$拉伸；$第二特征向量$由其特征值${\lambda }_2$拉伸。每行描述相对于标准基的五个变换矩阵${\mathbf{A}}_i$中的一个的效果。

让我们用不同的线性映射来获得行列式、特征向量和特征值的一些直观感觉。下面展示了五个变换矩阵${\mathbf{A}}_1,\dots ,{\mathbf{A}}_5$对以原点为中心的正方形点网格的影响：

• ${\mathbf{A}}_1=\left[\begin{array}{ll}\frac{1}{2}& 0\\ 0& 2\end{array}\right]$。两个特征向量的方向与${\mathbb{R}}^2$中的标准基向量相同，即，在两个主轴上。纵轴延长2倍（特征值${\lambda }_1=2$），横轴压缩$\frac{1}{2}$倍（特征值${\lambda }_2=\frac{1}{2}$）。该映射不会改变原图形面积（$\det \left({\mathbf{A}}_1\right)=1=2\cdot \frac{1}{2}$）。
  

• ${\mathbf{A}}_2=\left[\begin{array}{ll}1& \frac{1}{2}\\ 0& 1\end{array}\right]$对应于剪切映射( shearing mapping)，即，如果点位于垂直轴的正半轴，则沿水平轴向右剪切点，反之亦然。这个映射不改变原图形的面积（$\det \left({\mathbf{A}}_2\right)=1$）。特征值重复${\lambda }_1=1={\lambda }_2$，且特征向量共线（此处的绘制强调的是两个相反方向）。这表示映射仅沿一个方向（水平轴）起作用。
  

• ${\mathbf{A}}_3=\left[\begin{array}{cc}\cos \left(\frac{\pi }{6}\right)& -\sin \left(\frac{\pi }{6}\right)\\ \sin \left(\frac{\pi }{6}\right)& \cos \left(\frac{\pi }{6}\right)\end{array}\right]=\frac{1}{2}\left[\begin{array}{cc}\sqrt{3}& -1\\ 1& \sqrt{3}\end{array}\right]$。矩阵${\mathbf{A}}_3$将原图形的点逆时针旋转$\frac{\pi }{6}\mathrm{r}\mathrm{a}\mathrm{d}=30^{\circ }$，并且只有复数的特征值，这反映出映射是旋转（因此，没有绘制特征向量）。旋转必须保持体积不变，所以行列式是1。更多信息请回看解析几何。

• ${\mathbf{A}}_4=\left[\begin{array}{cc}1& -1\\ -1& 1\end{array}\right]$表示将二维域折叠到一维的标准基映射。由于有一个特征值为0，与${\lambda }_1=0$对应的（蓝色）特征向量方向上的空间收缩为0，而与蓝色正交的（红色）特征向量将空间拉伸${\lambda }_2=2$倍。因此，图像的面积为0。

• ${\mathbf{A}}_5=\left[\begin{array}{ll}1& \frac{1}{2}\\ \frac{1}{2}& 1\end{array}\right]$是一种剪切和拉伸映射，它将空间缩放75%，因为$\left|\det \left(A_5\right)\right|=\frac{3}{4}$。它将空间沿${\lambda }_2$的（红色）特征向量方向拉伸1.5倍，并沿与红色正交的（蓝色）特征向量方向压缩0.5倍。

定理 4.12

一个矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的$n$个特征向量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_n$对应$n$个不同的特征值${\lambda }_1,\dots ,{\lambda }_n$，则它们是线性独立的。

这个定理指出，具有$n$个不同特征值的矩阵的特征向量构成${\mathbb{R}}^n$的基

定理 4.13

如果一个方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$具有少于$n$个线性无关的特征向量，则它是亏损的(defective)。

非亏损矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$不一定需要$n$个不同的特征值，但需要特征向量构成${\mathbb{R}}^n$的基。从亏损矩阵的特征空间来看，特征空间的维数之和小于$n$。具体地说，亏损矩阵至少有一个特征值${\lambda }_i$，其代数重数$m>1$，几何重数小于$m$。

备注：
亏损矩阵不能有$n$个不同的特征值，因为不同的特征值具有线性独立的特征向量（定理4.12）。

定理 4.14

给定一个矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，我们总能通过
$$\mathbf{S}:={\mathbf{A}}^{\top }\mathbf{A}$$

得到一个对称的半正定矩阵$\mathbf{S}\in {\mathbb{R}}^{n\times n}$：

备注：
如果$\mathrm{rk}(\mathbf{A})=n$，那么$\mathbf{S}:={\mathbf{A}}^{\top }\mathbf{A}$是对称，正定的。

理解定理4.14成立的原因对我们应用对称矩阵很有帮助：对称矩阵要求$\mathbf{S}={\mathbf{S}}^{\mathbf{T}}$，由$\mathbf{S}:={\mathbf{A}}^{\top }\mathbf{A}$我们得到$\mathbf{S}={\mathbf{A}}^{\top }\mathbf{A}={\mathbf{A}}^{\top }{\left({\mathbf{A}}^{\top }\right)}^{\top }={\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{\top }={\mathbf{S}}^{\top }$。而且，半正定矩阵要求${\mathbf{x}}^{\top }\mathbf{S}\mathbf{x}⩾0$，由$\mathbf{S}:={\mathbf{A}}^{\top }\mathbf{A}$我们得到${\mathbf{x}}^{\top }\mathbf{S}\mathbf{x}={\mathbf{x}}^{\top }{\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}=\left({\mathbf{x}}^{\top }{\mathbf{A}}^{\top }\right)(\mathbf{A}\mathbf{x})=(\mathbf{A}\mathbf{x}{)}^{\top }(\mathbf{A}\mathbf{x})⩾0$，因为点积计算的是平方和。

定理 4.15 谱定理

如果$\mathbf{A}\in {\mathbb{R}}^{n\times n}$是对称的，则存在$\mathbf{A}$的特征向量组成对应向量空间$V$的正交基，且每个特征值都是实数。

谱定理的直接含义是对称矩阵$\mathbf{A}$的特征分解存在（具有实特征值），并且我们可以由特征向量得到标准正交基，使得$\mathbf{A}$=$\mathbf{P}\mathbf{D}{\mathbf{P}}^{\top }$，其中$\mathbf{D}$是对角的，$\mathbf{P}$的列为特征向量。

例 4.8

考虑矩阵
$$\mathbf{A}=\left[\begin{array}{lll}3& 2& 2\\ 2& 3& 2\\ 2& 2& 3\end{array}\right]$$
$\mathbf{A}$的特征方程为：
$$p_A(\lambda )=-(\lambda -1{)}^2(\lambda -7)$$
可以得到${\lambda }_1=1$和${\lambda }_2=7$，其中${\lambda }_1$为复特征值。
按照我们计算特征向量的标准流程，可以得到对应的特征空间：
$$E_1=\mathrm{span}[\underset{=:{\mathbf{x}}_1}{\underbrace{\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right]}}\underset{=:x_2}{\underbrace{\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right]}}],E_7=\mathrm{span}[\underset{=:{\mathbf{x}}_3}{\underbrace{\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]}}]$$
我们可以看到${\mathbf{x}}_3$与${\mathbf{x}}_1$和${\mathbf{x}}_2$都正交。然而，由于${\mathbf{x}}_1^{\top }{\mathbf{x}}_2=1\ne 0$，所以这两个向量不相互正交。我们所拥有的基不是正交的。但由谱定理（定理4.15）可知存在一个正交基，所以，我们可以构造一个。
为了构造这样一个基，我们利用特征向量${\mathbf{x}}_1$，${\mathbf{x}}_2$对应同一特征值$\lambda$这一事实，对于任何$\alpha ,\beta \in \mathbb{R}$，以下成立：
$$\mathbf{A}\left(\alpha {\mathbf{x}}_1+\beta {\mathbf{x}}_2\right)=\mathbf{A}{\mathbf{x}}_1\alpha +\mathbf{A}{\mathbf{x}}_2\beta =\lambda \left(\alpha {\mathbf{x}}_1+\beta {\mathbf{x}}_2\right)$$

即，${\mathbf{x}}_1$和${\mathbf{x}}_2$的任何线性组合也是与$\lambda$相关联的$\mathbf{A}$的特征向量。
Gram-Schmidt算法是一种使用这种线性组合从一组基向量迭代构造正交/正交基的方法。因此，即使${\mathbf{x}}_1$和${\mathbf{x}}_2$不是正交的，我们也可以应用Gram-Schmidt算法(3.8.3节)找到与${\lambda }_1=1$相关联的、彼此正交（并且与${\mathbf{x}}_3$正交）的特征向量。在我们的例子中，我们可以得到
$${\mathbf{x}}_1^{\prime }=\left[\begin{array}{c}-1\\ 1\\ 0\end{array}\right],{\mathbf{x}}_2^{\prime }=\frac{1}{2}\left[\begin{array}{c}-1\\ -1\\ 2\end{array}\right]$$
它们相互正交，且与${\mathbf{x}}_3$正交，且是$\mathbf{A}$对应于${\lambda }_1=1$的特征向量。

下面将特征值和特征向量与行列式和迹的概念联系起来。

定理 4.16

矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的行列式为其特征值的积
$$\det (\mathbf{A})=\prod _{i=1}^n{\lambda }_i$$
其中${\lambda }_i\in \mathbb{C}$（可重复）为$\mathbf{A}$的特征值。

定理 4.17

矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的迹为其特征值的和
$$\mathrm{tr}(\mathbf{A})=\sum _{i=1}^n{\lambda }_i$$
其中${\lambda }_i\in \mathbb{C}$（可重复）为$\mathbf{A}$的特征值。

图 4.6特征值的几何解释。$\mathbf{A}$的特征向量被相应的特征值拉伸。单位正方形的面积变化$|{\lambda }_1{\lambda }_2|$倍，周长变化$\frac{1}{2}(|{\lambda }_1|+|{\lambda }_2|)$倍。

让我们来看看这两个定理的几何直观解释。考虑一个矩阵$\mathbf{A}\in {\mathbb{R}}^{2\times 2}$拥有两个线性独立的特征向量${\mathbf{x}}_1，{\mathbf{x}}_2$。对于这个例子，我们假设$({\mathbf{x}}_1，{\mathbf{x}}_2)$是${\mathbb{R}}^2$的标准正交基(ONB)，它们所张成的正方形的面积是1；如图4.6所示。从第1节我们知道行列式计算单位方形面积在变换矩阵$\mathbf{A}$下的变化。在这个例子中，我们可以明确地计算面积的变化：通过$\mathbf{A}$对特征向量进行映射可以得到向量：${\mathbf{v}}_1=\mathbf{A}{\mathbf{x}}_1={\lambda }_1{\mathbf{x}}_1$和${\mathbf{v}}_2=\mathbf{A}{\mathbf{x}}_2={\lambda }_2{\mathbf{x}}_2$，即新向量${\mathbf{v}}_i$是特征向量${\mathbf{x}}_i$的缩放版本，并且缩放因子是对应的特征值${\lambda }_i$。${\mathbf{v}}_1,{\mathbf{v}}_2$仍然是正交的，它们张成的矩形的面积是$|{\lambda }_1{\lambda }_2|$。

假设${\mathbf{x}}_1,{\mathbf{x}}_2$（在我们的例子中）是正交的，我们可以直接计算单位方形的周长为$2（1+1）$。使用$\mathbf{A}$映射特征向量将创建周长为$2\left(\left|{\lambda }_1\right|+\left|{\lambda }_2\right|\right)$的矩形。因此，特征值的绝对值之和告诉我们单位方形的周长在变换矩阵$\mathbf{A}$下是如何变化的。

翻译自：
《MATHEMATICS FOR MACHINE LEARNING》作者是 Marc Peter Deisenroth，A Aldo Faisal 和 Cheng Soon Ong

公众号后台回复【m4ml】即可获取这本书。

另外，机器学习的数学基础.pdf