线性代数之矩阵的属性和运算

前言

线性代数相关知识的学习笔记，仅供自己备忘及网友学习交流使用。

一、矩阵的属性和运算

1.1 单位矩阵和对角矩阵

单位矩阵 $I\in \mathbb{R}$ ，它是一个方阵，对角线的元素都是 1 ，其余位置的元素都是 0 ：
$$I_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$
对于所有的 $A\in {\mathbb{R}}^{m\times n}$ ，有：
$$AI=A=IA$$
注意，在某种意义上，单位矩阵的表示法是不明确的，因为它没有指定 $I$ 的维数。通常， $I$ 的维数是从上下文推断出来的，以便使矩阵乘法成为可能。例如，在上面的等式中，$AI=A$ 中的 $I$ 是 $n\times n$ 矩阵，而 $A=IA$ 中的 $I$ 是 $m\times m$ 矩阵。

对角矩阵是一种这样的矩阵：除对角线之外的元素全为 0 。对角阵通常表示为：$D=diag(d_1,d_2,...,d_n)$ ，其中：
$$D_{ij}=\{\begin{array}{ll}{d}_i,& i=j\\ 0,& i\ne j\end{array}$$
很明显，单位矩阵 $I=diag(1,1,...,1)$ 。

1.2 转置

矩阵的转置是指翻转矩阵的行和列。

给定一个矩阵：$A\in {\mathbb{R}}^{m\times n}$ ， 它的转置为 $n\times m$ 的矩阵 ，其中 $A^T\in {\mathbb{R}}^{n\times m}$ 的元素为：
$$A_{ij}=(A^T{)}_{ji}$$
事实上，我们在描述行向量时已经使用了转置，因为列向量的转置自然是行向量。

转置的以下属性很容易验证：

• $(A^T{)}^T=A$
• $(AB{)}^T=B^T{A}^T$
• $(A+B{)}^T=A^T+B^T$

1.3 对称矩阵

如果 $A=A^T$ ，则矩阵 $A\in {\mathbb{R}}^{m\times m}$ 是对称矩阵。如果 $A=-A^T$ ，它是反对称的。很容易证明，对于任何矩阵 $A\in {\mathbb{R}}^{m\times m}$ ，矩阵 $A+A^T$ 是对称的，矩阵 $A-A^T$ 是反对称的。由此得出，任何方阵 $A\in {\mathbb{R}}^{m\times m}$ 可以表示为对称矩阵和反对称矩阵的和，所以：
$$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$$

上面公式的右边的第一个矩阵是对称矩阵，而第二个矩阵是反对称矩阵。事实证明，对称矩阵在实践中用到很多，它们有很多很好的属性，我们很快就会看到它们。通常将大小为 $m$ 的所有对称矩阵的集合表示为 ${\mathbb{S}}^m$ ，因此 $A\in {\mathbb{S}}^m$ 意味着 $A$ 是对称的 $m\times m$ 矩阵；

1.4 矩阵的迹

方阵 $A\in {\mathbb{R}}^m$ 的迹，表示为 $tr(A)$ ，是方阵中对角元素的总和：
$$tr(A)=\sum _{i=1}^m{a}_{ii}$$

迹具有以下属性：

• 对于矩阵 $A\in {\mathbb{R}}^{n\times n}$ ，则：$tr(A)=tr(A^T)$ ；
• 对于矩阵 $A,B\in {\mathbb{R}}^{n\times n}$ ，则：$tr(A+B)=tr(A)+tr(B)$ ；
• 对于矩阵 $A,B$ ，$AB$ 为方阵，则：$tr(AB)=tr(BA)$ ；
• 对于矩阵 $A,B,C$ ，$ABC$ 为方阵, 则：$tr(ABC)=tr(BCA)=tr(CAB)$ , 同理，更多矩阵的乘积也是有这个性质。
  $$tr(AB)=\sum _{i=1}^n(AB{)}_{ii}=\sum _{i=1}^n(\sum _{j=1}^m{A}_{ij}{B}_{ji})$$
  $$=\sum _{i=1}^n\sum _{j=1}^m{A}_{ij}{B}_{ji}=\sum _{j=1}^m\sum _{i=1}^n{B}_{ji}{A}_{ij}$$
  $$=\sum _{j=1}^m(BA{)}_{jj}=tr(BA)$$

这里，第一个和最后两个等式使用迹运算符和矩阵乘法的定义，重点在第四个等式，使用标量乘法的可交换性来反转每个乘积中的项的顺序，以及标量加法的可交换性和相关性，以便重新排列求和的顺序。

1.5 范数

向量的范数 $||x||$ 是非正式度量的向量的“长度” 。例如，我们有常用的欧几里德或 $l_2$ 范数：
$$||x|{|}_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

注意：$||x|{|}_2^2=x^{T}x$
更正式地，范数是满足如下 4 个属性的函数（$f:{\mathbb{R}}^n\to \mathbb{R}$）：

• 对于所有的 $x\in {\mathbb{R}}^n$ ，有 $f(x)\ge 0$ （非负）；
• 当且仅当 $x=0$ 时，有 $f(x)=0$ （明确性）；
• 对于所有的 $x\in {\mathbb{R}}^n,t\in \mathbb{R}$，有 $f(tx)=|t|f(x)$（正齐次性）；
• 对于所有 $x,y\in {\mathbb{R}}^n$ ，有 $f(x+y)\le f(x)+f(y)$ （三角不等式）。

其他范数的例子是 $l_1$ 范数：
$$||x|{|}_1=\sum _{i=1}^n|x_i|$$
和 $l_{\infty }$ 范数：
$$||x|{|}_{\infty }=\underset{i}{\max }|x_i|$$
事实上，到目前为止所提出的所有三个范数都是范数族 $l_p$ 的例子，它们由实数 $p\ge 1$ 参数化，并定义为：
$$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{1/p}$$

也可以为矩阵定义范数，例如 Frobenius 范数：
$$||A|{|}_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}^2}=\sqrt{tr(A^{T}A)}$$
还有其他更多的范数，这里不再继续探讨。

1.6 线性相关性和秩

一组向量 $x_1,x_2,...,x_n\in \mathbb{R}$ ， 如果没有向量可以用其余向量的线性组合来表示，则称该组向量是线性无相关的。相反，如果属于该组的一个向量可以表示为其余向量的线性组合，则称该组向量是线性相关的。也就是说，如果：
$$x_n=\sum _{i=1}^{n-1}{\alpha }_i{x}_i$$

对于某些标量值 ${\alpha }_1,{\alpha }_2,...,{\alpha }_{n-1}\in \mathbb{R}$ ，要么向量 $x_1,x_2,...,x_n$ 是线性相关的；否则，向量是线性无关的。例如，向量：
$$x_1=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]x_2=\left[\begin{array}{c}5\\ 6\\ 7\end{array}\right]x_3=\left[\begin{array}{c}3\\ 2\\ 1\end{array}\right]$$
是线性相关的，因为：$x_3=-2x_1+x_2$ 。

矩阵 $A\in {\mathbb{R}}^{m\times n}$ 的列秩是构成线性无关集合的 $A$ 的最大列子集的大小。由于术语的多样性，这通常简称为 $A$ 的线性无关列的数量。同样，行秩是构成线性无关集合的 $A$ 的最大行数。对于任何矩阵，事实证明 $A$ 的列秩等于 $A$ 的行秩（尽管我们不会证明这一点），因此两个量统称为 $A$ 的秩，用 $rank(A)$ 表示。以下是矩阵秩的一些基本属性：

• 对于 $A\in {\mathbb{R}}^{m\times n}$ ，始终有 $rank(A)\le \min (m,n)$，如果 $rank(A)=\min (m,n)$ ，则 $A$ 被称为满秩矩阵；
• 对于 $A\in {\mathbb{R}}^{m\times n}$ ，有 $rank(A)=rank(A^T)$ ；
• 对于 $A\in {\mathbb{R}}^{m\times k},B\in {\mathbb{R}}^{k\times n}$ ，有 $rank(AB)\le \min (rank(A),rank(B))$ ；
• 对于 $A,B\in {\mathbb{R}}^{m\times n}$ ，有 $rank(A+B)\le rank(A)+rank(B)$ 。

1.7 方阵的逆

方阵 $A\in {\mathbb{R}}^{n\times n}$ 的倒数表示为 $A^{-1}$ ，并且是这样的独特矩阵：
$$A^{-1}A=I=A{A}^{-1}$$
请注意，并非所有矩阵都具有逆。例如，非方形矩阵根据定义没有逆。然而，对于一些方形矩阵 $A$ ，仍然存在 $A^{-1}$ 可能不存在的情况。特别是，如果 $A^{-1}$ 存在，我们说 $A$ 是可逆的或非奇异的，否则就是不可逆或奇异的。为了使方阵 $A$ 具有逆 $A^{-1}$ ，则 $A$ 必须是满秩。我们很快就会发现，除了满秩之外，还有许多其它的充分必要条件。以下是逆的属性，假设 $A,B\in {\mathbb{R}}^{n\times n}$ ，而且是非奇异的：

• $(A^{-1}{)}^{-1}=A$ ；
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$ ；
• $(A^{-1}{)}^T=(A^T{)}^{-1}$ ，因此，该矩阵一般也可用 $A^{-T}$ 来表示。

作为如何使用逆的示例，考虑线性方程组 $Ax=b$ ，其中 $A\in {\mathbb{R}}^{n\times n}x,b\in \mathbb{R}$ ， 如果 $A$ 是非奇异的（即可逆的），那么 $x=A^{-1}b$ 。（如果 $A\in {\mathbb{R}}^{m\times n}$ 不是方阵，这公式就不能用了。）

1.8 正交矩阵

如果 $x^{T}y=0$ ，则两个向量 $x,y\in {\mathbb{R}}^n$ 是正交的。如果 $||x|{|}_2=1$ 即 $x^{T}x=1$ ，则向量 $x\in {\mathbb{R}}^n$ 被归一化。如果一个方阵 $U\in {\mathbb{R}}^{n\times n}$ 的所有列彼此正交并被归一化（这些列然后被称为正交向量），则方阵 $U$ 是正交阵（注意和在讨论向量时的意义不一样）。

它可以从正交性和正态性的定义中得出：
$$U^{T}U=I=U{U}^T$$
换句话说，正交矩阵的逆是其转置。注意，如果 $U$ 不是方阵：即 $U\in {\mathbb{R}}^{m\times n}$，$m<n$ ，但其列仍然是正交的，则 $U^{T}U=I$ ，但是 $U{U}^T\ne I$ 。我们通常只使用术语"正交"来描述先前的情况 ，其中 $U$ 是方阵。正交矩阵的另一个好的特性是在具有正交矩阵的向量上操作不会改变其欧几里德范数，即：
$$||Ux|{|}_2=||x|{|}_2$$
对于任何 $x\in \mathbb{R}$ , $U\in {\mathbb{R}}^n$ 是正交的。

1.9 矩阵的值域（列空间）和零空间

一组向量 { x 1 , x 2 , . . . , x n } \{x_1, x_2, ..., x_n\} {x1​,x2​,...,xn​} 是可以表示为 { x 1 , x 2 , . . . , x n } \{x_1, x_2, ..., x_n\} {x1​,x2​,...,xn​} 的线性组合的所有向量的集合。即：
s p a n ( { x 1 , x 2 , . . . , x n } ) = { v  ⁣ : v = ∑ i = 1 n α i x i , α i ∈ R } span(\{x_1, x_2, ..., x_n\}) = \bigg\{v \colon v = \sum_{i=1}^n \alpha_i x_i, \quad \alpha_i \in \mathbb{R} \bigg\} span({x1​,x2​,...,xn​})={v:v=i=1∑n​αi​xi​,αi​∈R}
可以证明，如果 { x 1 , x 2 , . . . , x n } \{x_1, x_2, ..., x_n\} {x1​,x2​,...,xn​} 是一组 $n$ 个线性无关的向量，其中每个 $x_i\in {\mathbb{R}}^n$ ，则 s p a n ( { x 1 , x 2 , . . . , x n } ) = R n span(\{x_1, x_2, ..., x_n\}) = \mathbb{R}^n span({x1​,x2​,...,xn​})=Rn 。换句话说，任何向量 $v\in {\mathbb{R}}^n$ 都可以写成 $x_1$ 到 $x_n$ 的线性组合。

向量 $y\in {\mathbb{R}}^m$ 投影到 { x 1 , x 2 , . . . , x n } \{x_1, x_2, ..., x_n\} {x1​,x2​,...,xn​} （这里我们假设 $x_i\in {\mathbb{R}}^m$ ）得到向量 v ∈ s p a n ( { x 1 , x 2 , . . . , x n } ) v \in span(\{x_1, x_2, ..., x_n\}) v∈span({x1​,x2​,...,xn​}) ，由欧几里德范数 $||v-y|{|}_2$ 可以得知，这样 $v$ 尽可能接近 $y$ 。

我们将投影表示为 P r o j ( y ; { x 1 , x 2 , . . . , x n } ) Proj(y;\{x_1, x_2, ..., x_n\}) Proj(y;{x1​,x2​,...,xn​}) ，并且可以将其正式定义为：
P r o j ( y ; { x 1 , x 2 , . . . , x n } ) = a r g m i n v ∈ s p a n ( { x 1 , x 2 , . . . , x n } ) ∣ ∣ v − y ∣ ∣ 2 Proj(y;\{x_1, x_2, ..., x_n\}) = argmin_{v \in span(\{x_1, x_2, ..., x_n\})} ||v - y||_2 Proj(y;{x1​,x2​,...,xn​})=argminv∈span({x1​,x2​,...,xn​})​∣∣v−y∣∣2​

矩阵 $A\in {\mathbb{R}}^{m\times n}$ 的值域（有时也称为列空间），表示为 $\mathcal{R}(A)$ ，是 $A$ 列的跨度。换句话说：
R ( A ) = { v ∈ R m  ⁣ : v = A x , x ∈ R n } \mathcal{R}(A) = \{v \in \mathbb{R}^m \colon v = Ax, x \in \mathbb{R}^n\} R(A)={v∈Rm:v=Ax,x∈Rn}
以上关于列空间有两种解释：

• 假设矩阵 $A\in {\mathbb{R}}^{m\times n}$ 代表一个矩阵变换，原始空间中所有的向量 $x\in {\mathbb{R}}^n$ ，在经由矩阵 $A$ 的变换之后，所得到的所有新向量的集合 $Ax=b\in {\mathbb{R}}^m$ ；
• 由矩阵 $A\in {\mathbb{R}}^{m\times n}$ 的列向量所张成的空间。

做一些技术性的假设（即 $A$ 是满秩且 $n<m$ ），向量 $y\in {\mathbb{R}}^m$ 到 $A$ 的范围的投影由下式给出：
$$Proj(y;A)=argmi{n}_{v\in \mathcal{R}(A)}||v-y|{|}_2=A(A^{T}A{)}^{-1}{A}^{T}y$$

最后的这个方程应该看起来非常熟悉了，因为它几乎与我们在课程中得到的公式：用于参数估计的最小二乘法一样。看一下投影的定义，显而易见，这实际上是我们在最小二乘问题中最小化的目标（除了范数的平方这里有点不一样，这不会影响我们找到最优解），所以这些问题自然是非常相关的。

当 $A$ 只包含一列时，$a\in {\mathbb{R}}^m$ ，这给出了向量投影到一条线上的特殊情况：
$$Proj(y;a)=\frac{a{a}^T}{a^{T}a}y$$
一个矩阵 $A\in {\mathbb{R}}^{m\times n}$ 的零空间 $\mathcal{N}(A)$ 是所有乘以 $A$ 时等于 0 向量的集合（顾名思义，即使得 $Ax=0$ 时 $x$ 的解），即：
N ( A ) = { x ∈ R n , A x = 0 } \mathcal{N} (A) = \{x \in \mathbb{R}^n,Ax = 0\} N(A)={x∈Rn,Ax=0}
上述表达式的另外一个解释为：
如果某个向量空间在线性变换之后，存在降维，那么就会有一系列原来不是零向量的向量落到了零向量的位置，所有这些向量的集合构成了零空间。

注意，$\mathcal{R}(A)$ 中的向量的大小为 $m$ ，而 $\mathcal{N}(A)$ 中的向量的大小为 $n$ ，因此 $\mathcal{R}(A^T)$ 和 $\mathcal{N}(A)$ 中的向量的大小均为 ${\mathbb{R}}^n$ 。事实上，还有很多例子。证明：
{ w  ⁣ : w = u + v , u ∈ R ( A T ) , v ∈ N ( A ) } = R n a n d R ( A T ) ∩ N ( A ) = { 0 } \{w \colon w = u + v, u \in \mathcal{R} (A^T), v \in \mathcal{N} (A)\} = \mathbb{R}^n \quad and \quad \mathcal{R} (A^T) \cap \mathcal{N} (A) = \{\pmb{0}\} {w:w=u+v,u∈R(AT),v∈N(A)}=RnandR(AT)∩N(A)={000}
换句话说， $\mathcal{R}(A^T)$ 和 $\mathcal{N}(A)$ 是不相交的子集，它们一起跨越 ${\mathbb{R}}^n$ 的整个空间。这种类型的集合我们称之为正交补，用 $\mathcal{R}(A^T)=\mathcal{N}(A{)}^{\perp }$ 表示。

1.10 行列式

一个方阵 $A\in {\mathbb{R}}^{n\times n}$ 的行列式是函数 $det$ ：${\mathbb{R}}^{n\times n}\to {\mathbb{R}}^n$，并且表示为 $|A|$ 。或者 $det(A)$ （有点像迹运算符，我们通常省略括号 $detA$ ）。从代数的角度来说，我们可以写出一个关于 $A$ 行列式的显式公式。因此，我们首先提供行列式的几何解释，然后探讨它的一些特定的代数性质。

给定一个矩阵：
$$A=\left[\begin{array}{ccc}-& a_1^T& -\\ -& a_2^T& -\\ & ⋮& \\ -& a_n^T& -\end{array}\right]$$
考虑通过采用 $A$ 行向量 $a_1,a_2,...,a_n\in {\mathbb{R}}^n$ 的所有可能线性组合形成的点 $S\subset {\mathbb{R}}^n$ 的集合，其中线性组合的系数都在 0 和 1 之间; 也就是说，集合 $S$ 是 s p a n ( { a 1 , a 2 , . . . , a n } ) span(\{a_1, a_2, ..., a_n\}) span({a1​,a2​,...,an​}) 受到系数 ${\alpha }_1,{\alpha }_2,...,{\alpha }_n$ 的限制的线性组合， ${\alpha }_1,{\alpha }_2,...,{\alpha }_n$ 满足 $0\le {\alpha }_i\le 1,i=1,2,...,n$ 。从形式上看：
$$S=\{v\in {\mathbb{R}}^n:v=\sum _{i=1}^n{\alpha }_i{a}_i\text{where 0≤αi≤1,i=1,2,...,n}\}$$
事实证明， $A$ 的行列式的绝对值是对集合 $S$ 的“体积”的度量。

比方说：一个 $2\times 2$ 的矩阵：
$$A=\left[\begin{array}{cc}1& 3\\ 3& 2\end{array}\right]$$
它的矩阵的行是：
$$a_1=\left[\begin{array}{c}1\\ 3\end{array}\right]a_2=\left[\begin{array}{c}3\\ 2\end{array}\right]$$
对应于这些行对应的集合 $S$ 如图 1 所示。对于二维矩阵， $S$ 通常具有平行四边形的形状。在我们的例子中，行列式的值是 $|A|=-7$ （可以使用本节后面显示的公式计算），因此平行四边形的面积为 7。（请自己验证！）

在三维中，集合 $S$ 对应于一个称为平行六面体的对象（一个有倾斜边的三维框，这样每个面都有一个平行四边形）。行定义 $S$ 的 $3\times 3$ 矩阵 S 的行列式的绝对值给出了平行六面体的三维体积。在更高的维度中，集合 $S$ 是一个称为 n 维平行切面体的对象。

图1：上面给出的 $2\times 2$ 矩阵 $A$ 的行列式的图示。这里 $a_1$ 和 $a_2$ 是对应于 $A$ 行的向量，并且集合 $S$ 对应于阴影区域（即，平行四边形）。这个行列式的绝对值，$|detA|=7$ ，即平行四边形的面积。

在代数上，行列式满足以下三个属性（所有其他属性都遵循这些属性，包括通用公式）：

1. 单位矩阵的行列式为 1, $|I|=1$ （几何上，单位超立方体的体积为 1）；
2. 给定一个矩阵 $A\in {\mathbb{R}}^{n\times n}$ , 如果我们将 $A$ 中的一行乘上一个标量 $t\in \mathbb{R}$，那么新矩阵的行列式是 $t|A|$：
   $$\left[\begin{array}{ccc}-& t{a}_1^T& -\\ -& t{a}_2^T& -\\ & ⋮& \\ -& t{a}_n^T& -\end{array}\right]=t|A|$$
   几何上，将集合 $S$ 的一个边乘以系数 $t$，体积也会增加一个系数 $t$ 。
3. 如果我们交换任意两行 $a_i^T$ 和 $a_j^T$ ，那么新矩阵的行列式是 $-|A|$ ，例如：
   $$\left[\begin{array}{ccc}-& a_2^T& -\\ -& a_1^T& -\\ & ⋮& \\ -& a_n^T& -\end{array}\right]=-|A|$$

你一定很奇怪，满足上述三个属性的函数并不多。事实上，这样的函数确实存在，而且是唯一的（我们在这里不再证明了）。

从上述三个属性中得出的几个属性包括：

• 对于 $A\in {\mathbb{R}}^{n\times n}$ ，有 $|A|=|A^T|$ ；
• 对于 $A,B\in {\mathbb{R}}^{n\times n}$ ，有 $|AB|=|A||B|$ ；
• 对于 $A\in {\mathbb{R}}^{n\times n}$ ，有且只有当 $A$ 是奇异的（比如不可逆），则 $|A|=0$ ；
• 对于 $A\in {\mathbb{R}}^{n\times n}$ ，且 $A$ 为非奇异的，有 $|A{|}^{-1}=1/|A|$ ；

在给出行列式的一般定义之前，我们定义，对于 $A\in {\mathbb{R}}^{n\times n}$ ， $A_{\sim i,\sim j}$ 是由于删除第 $i$ 行和第 $j$ 列而产生的矩阵。行列式的一般（递归）公式是：
$$|A|=\sum _{i=1}^n(-1{)}^{i+j}{a}_{ij}|A_{\sim i,\sim j}|\text{(for any j∈1,2,...,n)}$$
$$=\sum _{j=1}^n(-1{)}^{i+j}{a}_{ij}|A_{\sim i,\sim j}|\text{(for any i∈1,2,...,n)}$$
对于 $A\in {\mathbb{R}}^{1\times 1}$ ，初始情况为 $|A|=a_{11}$ 。如果我们把这个公式完全展开为 $A\in {\mathbb{R}}^{n\times n}$ ，就等于 $n!$ （ n 的阶乘）不同的项。因此，对于大于 $3\times 3$ 的矩阵，我们几乎没有明确地写出完整的行列式方程。然而， $3\times 3$ 大小的矩阵的行列式方程是相当常见的，建议好好地了解它们：
$$\left|\begin{array}{c}{a}_{11}\end{array}\right|=a_{11}$$
$$\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$
$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32}-a_{31}{a}_{22}{a}_{13}-a_{11}{a}_{23}{a}_{32}-a_{21}{a}_{12}{a}_{33}$$

矩阵 $A\in {\mathbb{R}}^{n\times n}$ 的经典伴随矩阵（通常称为伴随矩阵）表示为 $adj(A)$ ，并定义为：
$$adj(A)\in {\mathbb{R}}^{n\times n},(adj(A){)}_{ij}=(-1{)}^{i+j}|A_{\sim j,\sim i}|$$
（注意索引 $A_{\sim j,\sim i}$ 中的变化）。可以看出，对于任何非奇异 $A\in {\mathbb{R}}^{n\times n}$ ：
$$A^{-1}=\frac{1}{|A|}adj(A)$$
虽然这是一个很好的“显式”的逆矩阵公式，但我们应该注意，从数字上讲，有很多更有效的方法来计算逆矩阵。

1.11 二次型和半正定矩阵

给定方阵 $A\in {\mathbb{R}}^{n\times n}$ 和向量 $x\in {\mathbb{R}}^n$ ，标量值被称为二次型。写得清楚些，我们可以看到：
$$x^{T}Ax=\sum _{i=1}^n{x}_i(Ax{)}_i=\sum _{i=1}^n{x}_i(\sum _{j=1}^n{A}_{ij}{x}_j)=\sum _{i=1}^n\sum _{j=1}^n{A}_{ij}{x}_i{x}_j$$
注意：
$$x^{T}Ax=(x^{T}Ax{)}^T=x^T{A}^{T}x=x^T(\frac{1}{2}A+\frac{1}{2}{A}^T)x$$
第一个等号成立是因为标量的转置与自身相等，而第三个等号成立是因为上式中：
$$x^{T}Ax=x^T{A}^{T}x$$
$$\Rightarrow 2x^{T}Ax=x^{T}Ax+x^T{A}^{T}x$$
$$\Rightarrow x^{T}Ax=\frac{1}{2}(x^{T}Ax+x^T{A}^{T}x)=x^T(\frac{1}{2}A+\frac{1}{2}{A}^T)x$$

由此，我们可以得出结论，只有 $A$ 的对称部分有助于形成二次型。出于这个原因，我们经常隐含地假设以二次型出现的矩阵是对称阵。我们给出以下定义：

• 对于所有非零向量 $x\in {\mathbb{R}}^n$ ，$x^{T}Ax>0$ ，对称阵 $A\in {\mathbb{S}}^n$ 为正定（positive definite，PD）。这通常表示为 $A\succ 0$ （或 $A>0$ ），并且通常将所有正定矩阵的集合表示为 ${\mathbb{S}}_{++}^n$ 。
• 对于所有非零向量 $x\in {\mathbb{R}}^n$ ，$x^{T}Ax\ge 0$ ，对称阵 $A\in {\mathbb{S}}^n$ 是半正定(positive semidefinite，PSD)。这写为 $A⪰0$ （或 $A\ge 0$ ），并且所有半正定矩阵的集合通常表示为 ${\mathbb{S}}_{+}^n$ 。
• 同样，对称阵 $A\in {\mathbb{S}}^n$ 是负定（negative definite，ND），如果对于所有非零向量 $x\in {\mathbb{R}}^n$ ，则表示为 $A\prec 0$ （或 $A<0$ ）。
• 类似地，对称阵 $A\in {\mathbb{S}}^n$ 是半负定(negative semidefinite，NSD），如果对于所有非零向量 $x\in {\mathbb{R}}^n$ ，则表示为 $A⪯0$ （或 $A\le 0$ ）。
• 最后，对称阵 $A\in {\mathbb{S}}^n$ 是不定的，如果它既不是正半定也不是负半定，即如果存在 $x_1,x_2\in {\mathbb{R}}^n$ ，那么存在 $x_1^{T}A{x}_1>0$ 且 $x_2^{T}A{x}_2<0$ 。

很明显，如果 $A$ 是正定的，那么 $-A$ 是负定的，反之亦然。同样，如果 $A$ 是半正定的，那么 $-A$ 是半负定的，反之亦然。如果 $A$ 是不定的，那么 $-A$ 也是不定的。

正定矩阵和负定矩阵的一个重要性质是它们总是满秩，因此是可逆的。为了了解这是为什么，假设某个矩阵 $A\in {\mathbb{S}}^n$ 不是满秩。然后，假设 $A$ 的第 $j$ 列可以表示为其他 $n-1$ 列的线性组合：
$$a_j=\sum _{i\ne j}{x}_i{a}_i$$
对于某些 $x_1,...,x_{j-1},x_{j+1},...,x_n\in \mathbb{R}$ 。设 $x_j=-1$ ，则：
$$Ax=\sum _{i\ne j}{x}_i{a}_i=0$$
但这意味着对于某些非零向量 $x$ ，$x^{T}Ax=0$ ，因此 $A$ 必须既不是正定也不是负定。如果是正定或负定，则必须是满秩。最后，有一种类型的正定矩阵经常出现，因此值得特别提及。给定矩阵 $A\in {\mathbb{R}}^{m\times n}$ （不一定是对称或偶数平方），矩阵 $G=A^{T}A$ （有时称为 Gram 矩阵）总是半正定的。此外，如果 $m\ge n$ （同时为了方便起见，我们假设 $A$ 是满秩），则 $G=A^{T}A$ 是正定的。

1.12 特征值和特征向量

给定一个方阵 $A\in {\mathbb{R}}^{n\times n}$ ，我们认为在以下条件下，$\lambda \in \mathbb{C}$ 是 $A$ 的特征值，$x\in {\mathbb{C}}^n$ 是相应的特征向量：
$$Ax=\lambda x,x\ne 0$$
直观地说，这个定义意味着将 $A$ 乘以向量 $x$ 会得到一个新的向量，该向量指向与 $x$ 相同的方向，但按系数 $\lambda$ 缩放。值得注意的是，对于任何特征向量 $x\in {\mathbb{C}}^n$ 和标量 $t\in \mathbb{C}$ ， $A(tx)=tAx=t\lambda x=\lambda (tx)$ ，$tx$ 也是一个特征向量。因此，当我们讨论与 $\lambda$ 相关的特征向量时，我们通常假设特征向量被标准化为长度为 1（这仍然会造成一些歧义，因为 $x$ 和 $-x$ 都是特征向量，但我们必须接受这一点）。

我们可以重写上面的等式来说明 $(\lambda ,x)$ 是 $A$ 的特征值和特征向量的组合：
$$(\lambda I-A)x=0,x\ne 0$$
但是 $(\lambda I-A)x=0$ 只有当 $(\lambda I-A)$ 有一个非空零空间时，同时 $(\lambda I-A)$ 是奇异的， $x$ 才具有非零解，即：
$$|(\lambda I-A)|=0$$
现在，我们可以使用行列式的先前定义将表达式 $|(\lambda I-A)|$ 扩展为 $\lambda$ 中的（非常大的）多项式，其中， $\lambda$ 的度为 n 。它通常被称为矩阵 $A$ 的特征多项式。

然后我们找到这个特征多项式的 n （可能是复数）根，并用 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ 表示。这些都是矩阵 $A$ 的特征值，但我们注意到它们可能不明显。为了找到特征值 ${\lambda }_i$ 对应的特征向量，我们只需解线性方程 $(\lambda I-A)x=0$ ，因为 $(\lambda I-A)$ 是奇异的，所以保证至少有一个非零解（可能有多个或无穷多个解）。

应该注意的是，这不是实际用于数值计算特征值和特征向量的方法（记住行列式的完全展开式有 $n!$ 项），这是一个数学上的争议。

以下是特征值和特征向量的属性（所有假设都在 $A\in {\mathbb{R}}^{n\times n}$ 具有特征值 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ 的前提下）：

• $A$ 的迹等于其特征值之和：
  $$trA=\sum _{i=1}^n{\lambda }_i$$
• $A$ 的行列式等于其特征值的乘积：
  $$|A|=\prod _{i=1}^n{\lambda }_i$$
• $A$ 的秩等于 $A$ 的非零特征值的个数；
• 假设 $A$ 非奇异，其特征值和特征向量分别为 $\lambda ,x$ 。那么 $1/\lambda$ 是具有相关特征向量 $x$ 的 $A^{-1}$ 的特征值，即 $A^{-1}x=(1/\lambda )x$ 。（要证明这一点，取特征向量方程， $Ax=\lambda x$ ，两边都左乘 $A^{-1}$ ）；
• 对角阵的特征值 $d=diag(d_1,d_2,...,d_n)$ 实际上就是对角元素 $d_1,d_2,...,d_n$ 。

1.13 对称矩阵的特征值和特征向量

通常情况下，一般的方阵的特征值和特征向量的结构可以很细微地表示出来。值得庆幸的是，在机器学习的大多数场景下，处理对称实矩阵就足够了，其处理的对称实矩阵的特征值和特征向量具有显著的特性。

在本节中，我们假设是 $A$ 实对称矩阵, 具有以下属性：

1. $A$ 的所有特征值都是实数。我们用 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ 来表示。
2. 存在一组特征向量 $u_1,u_2,...,u_n$ ，对于所有 $i$ ， $u_i$ 是具有特征值 ${\lambda }_i$ 和 $b$ 的特征向量。 $u_1,u_2,...,u_n$ 是单位向量并且彼此正交。

设 $U$ 是包含 $u_i$ 作为列的正交矩阵：
$$U=\left[\begin{array}{cccc}|& |& & |\\ u_1& u_2& \cdots & u_n\\ |& |& & |\end{array}\right]$$
设 $\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$ 是包含 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ 作为对角线上的元素的对角矩阵。使用 上一篇文章中介绍到的矩阵 - 矩阵向量乘法的方法，我们可以验证：
$$AU=\left[\begin{array}{cccc}|& |& & |\\ A{u}_1& A{u}_2& \cdots & A{u}_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}|& |& & |\\ {\lambda }_1{u}_1& {\lambda }_2{u}_2& \cdots & {\lambda }_n{u}_n\\ |& |& & |\end{array}\right]=Udiag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)=U\Lambda$$

考虑到正交矩阵 $U$ 满足 $U{U}^T=I$，利用上面的方程，我们得到：
$$A=AU{U}^T=U\Lambda U^T$$
这种j对矩阵 $A$ 的新的表示形式为 $U\Lambda U^T$ ，通常称为对矩阵 $A$ 的对角化。术语对角化是这样来的：通过这种表示，我们通常可以有效地将对称矩阵 $A$ 视为对角矩阵，这更容易理解。关于由特征向量 $U$ 定义的基础， 我们将通过几个例子详细说明。

背景知识： 代表另一个基的向量。

任何正交矩阵 $U=\left[\begin{array}{cccc}|& |& & |\\ u_1& u_2& \cdots & u_n\\ |& |& & |\end{array}\right]$ 定义了一个新的属于 ${\mathbb{R}}^n$ 的基（坐标系），意义如下：
对于任何向量 $x\in {\mathbb{R}}^n$ 都可以表示为 $u_1,u_2,...,u_n$ 的线性组合，其系数为 ${\hat{x}}_1,{\hat{x}}_2,...,{\hat{x}}_n$ ：
$$x={\hat{x}}_1{u}_1+{\hat{x}}_2{u}_2+...+{\hat{x}}_n{u}_n=U\hat{x}$$
在第二个等式中，我们使用矩阵和向量相乘的方法。实际上，这种 $\hat{x}$ 是唯一存在的（第一个等式两边同时左乘 $U^T$ ）：
$$x=U\hat{x}\iff U^{T}x=\hat{x}$$
换句话说，向量 $\hat{x}=U^{T}x$ 可以作为向量 $x$ 的另一种表示，与 $U$ 定义的基有关。

“对角化”矩阵向量乘法。通过上面的设置，我们将看到左乘矩阵 $A$ 可以被视为左乘以对角矩阵关于特征向量的基。假设 $x$ 是一个向量， $\hat{x}$ 表示 $U$ 的基。设 $z=Ax$ 为矩阵向量积。现在让我们计算关于 $U$ 的基 $z$ ：然后，再利用 $U{U}^T=U^{T}U=I$ 和方程 $A=AU{U}^T=U\Lambda U^{T}U{U}^T=U\Lambda U^T$ ，我们得到：
$$\hat{z}=U^{T}z=U^{T}Ax=U^{T}U\Lambda U^{T}x=\Lambda \hat{x}=\left[\begin{array}{c}{\lambda }_1{\hat{x}}_1\\ {\lambda }_2{\hat{x}}_2\\ ⋮\\ {\lambda }_n{\hat{x}}_n\end{array}\right]$$

我们可以看到，原始空间中的左乘矩阵 $A$ 等于左乘对角矩阵 $\Lambda$ 相对于新的基，即仅将每个坐标缩放相应的特征值。在新的基上，矩阵多次相乘也变得简单多了。例如，假设 $q=AAAx$ 。根据 $A$ 的元素导出 $q$ 的分析形式，使用原始的基可能是一场噩梦，但使用新的基就容易多了：
$$\hat{q}=U^{T}q=U^{T}AAAx=U^{T}U\Lambda U^{T}U\Lambda U^{T}U\Lambda U^{T}x={\Lambda }^3\hat{x}=\left[\begin{array}{c}{\lambda }_1^3{\hat{x}}_1\\ {\lambda }_2^3{\hat{x}}_2\\ ⋮\\ {\lambda }_n^3{\hat{x}}_n\end{array}\right]$$
“对角化”二次型。作为直接的推论，二次型 $x^{T}Ax$ 也可以在新的基上简化：
$$x^{T}Ax=x^{T}U\Lambda U^{T}x={\hat{x}}^T\Lambda \hat{x}=\sum _{i=1}^n{\lambda }_i{\hat{x}}_i^2$$
(回想一下，在旧的表示法中， $x^{T}Ax={\sum }_{i=1,j=1}^n{x}_i{x}_j{A}_{ij}$ 涉及一个 $n^2$ 项的和，而不是上面等式中的 $n$ 项。)利用这个观点，我们还可以证明矩阵的正定性完全取决于其特征值的符号：

• 如果对于所有的 ${\lambda }_i>0$ ，则矩阵 $A$ 是正定的，因为对于任意的 $\hat{x}\ne 0,x^{T}Ax={\sum }_{i=1}^n{\lambda }_i{\hat{x}}_i^2>0$ ；
• 如果对于所有的 ${\lambda }_i\ge 0$ ，则矩阵 $A$ 是半正定的，因为对于任意的 $\hat{x}\ne 0,x^{T}Ax={\sum }_{i=1}^n{\lambda }_i{\hat{x}}_i^2\ge 0$ ；
• 同样，如果对于所有 ${\lambda }_i<0$ 或 ${\lambda }_i\le 0$ ，则矩阵分别为负定或半负定 ；
• 最后，如果 $A$ 同时具有正特征值和负特征值，比如 ${\lambda }_i>0$ 和 ${\lambda }_j<0$ ，那么它是不定的。这是因为如果我们让 $\hat{x}$ 满足 ${\hat{x}}_i=1$ 和 ${\hat{x}}_j=0$ ，同时所有的 $j\ne i$ ，那么 $x^{T}Ax={\sum }_{i=1}^n{\lambda }_i{\hat{x}}_i^2>0$ ；同理，我们让 $\hat{x}$ 满足 ${\hat{x}}_i=0$ 和 ${\hat{x}}_j=1$ ，同时所有的 $j\ne i$ ，那么 $x^{T}Ax={\sum }_{i=1}^n{\lambda }_i{\hat{x}}_i^2<0$ 。

特征值和特征向量经常出现的应用是最大化矩阵的某些函数。特别是对于矩阵 $A\in {\mathbb{S}}^n$ ，考虑以下最大化问题：
$$\underset{x\in {\mathbb{R}}^n}{\max }{x}^{T}Ax=\sum _{i=1}^n{\lambda }_i{\hat{x}}_i^2\text{subject to ∣∣x∣∣22=1}$$

也就是说，我们要找到（范数为 1）的向量，它使二次型最大化。假设特征值的阶数为 ${\lambda }_1\ge {\lambda }_2\ge ...{\lambda }_n$ ，此优化问题的最优值为 ${\lambda }_1$ ，且 ${\lambda }_1$ 与对应的任何特征向量 $u_1$ 都是最大值之一。（如果 ${\lambda }_1\ge {\lambda }_2$ ，那么有一个与特征值 ${\lambda }_1$ 对应的唯一特征向量，它是上面那个优化问题的唯一最大值。） 我们可以通过使用对角化技术来证明这一点：注意，通过公式 $||Ux|{|}_2=||x|{|}_2$ 推出 $||x|{|}_2=||\hat{x}|{|}_2$ ，并利用公式：
$$x^{T}Ax=x^{T}U\Lambda U^{T}x={\hat{x}}^T\Lambda \hat{x}=\sum _{i=1}^n{\lambda }_i{\hat{x}}_i^2$$
我们可以将上面那个优化问题改写为：
$$\underset{\hat{x}\in {\mathbb{R}}^n}{\max }{\hat{x}}^{T}A\hat{x}=\sum _{i=1}^n{\lambda }_i{\hat{x}}_i^2\text{subject to ∣∣x^∣∣22=1}$$

然后，我们得到目标的上界为 ${\lambda }_1$ ：
$${\hat{x}}^{T}A\hat{x}=\sum _{i=1}^n{\lambda }_i{\hat{x}}_i^2\le \sum _{i=1}^n{\lambda }_1{\hat{x}}_i^2={\lambda }_1$$
此外，设置 $\hat{x}=\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right]$ 可让上述等式成立，这与设置 $x=u_1$ 相对应。