矩阵分析与应用（一）——矩阵基础知识、广义逆

前言

以前自学过一些矩阵分析，现在研究生再次学到这门课，倍感亲切。因为是上网课，相当于再自学一遍，顺便将自学笔记整理发出来。

在本系列文章中，你可以抛开那些繁琐的证明细节，尽情享受整个矩阵理论体系的引入与推导逻辑。同时，你也可以看到一些笔者对矩阵理论知识的个人体悟，这些内容通常是书上不会告诉你的。

但反过来说，本系列文章也尽量不会有证明的详细细节，本系列文章更像是一个引导者，引导读者进入矩阵理论的大门，对于具体细节的探索还需要结合教科书进行。

参考书目：张贤达《矩阵分析与应用》（第二版）

部分符号约定

为了统一起见，引入一些默认的约定。

1. 一般而言，粗体大写字母（如 $\mathbf{A}$ ）代表矩阵，粗体小写字母（如 $\mathbf{b}$ ）代表列向量，粗体小写字母的转置（如 ${\mathbf{x}}^{\mathrm{T}}$ ）代表行向量
2. 如 ${\mathbf{x}}^{\mathrm{T}}$ 代表转置， ${\mathbf{x}}^{\ast }$ 代表共轭， ${\mathbf{x}}^{\mathrm{H}}$ 代表共轭转置。 $\mathbf{I}$ 代表单位矩阵， $\mathbf{O}$ 代表零矩阵。

关于矩阵理论的碎碎念

我认为有必要在全文之处强调一个常被工科生忽略的地方，许多工科生对矩阵的印象还停留在线性代数时期，认为矩阵就是一串数的列表。事实上，这是线性代数的观点，而非矩阵理论的观点！矩阵理论中很多时候将矩阵看作一个算子，将矩阵看作一种操作。许多操作都可以用矩阵表示，所以在看到这类矩阵时，不要老去想它每个元素的数值，而要在脑海里默念：它只是一个符号，这个符号代表了一种操作。

举个例子，左乘初等矩阵相当于初等行变换，从线性代数的角度，我们可能会想象出这个初等矩阵具体的值，然后相乘。但从矩阵理论的角度，你应当理解：这个初等矩阵本质上就是一个符号，用于提示读者将会对后面的矩阵进行“初等行变换”的操作。

当然，更广义地讲，其实就是矩阵其实就是一种线性映射。所以像交换、轮换、初等变换、幺正变换、伸缩变换等都可以被写成矩阵，如果你不是想要计算它，而是要研究其抽象的性质，请不要过分关注或思考它们的数值，而要将重点放在其等效于执行了什么操作。

因此，本文许多场合下，我并不会给出某些特殊矩阵的定义，而是去强调其作为算子究竟起到了何种作用。

一些基础知识与本门课知识串讲

对于那些已在线性代数中被详细讨论的内容，本文将以相对简略的语言代过。本文主要介绍矩阵理论的引入逻辑和重要结论，旨在于突出重点和思考逻辑，而非作为一本详尽但啰嗦的工具书。

矩阵奇异与线性无关

我们称方阵 $\mathbf{A}$ 非奇异，当且仅当方阵 $\mathbf{A}$ 满秩。

• 从方程组的角度， $\mathbf{A}$ 非奇异意味着 $\mathbf{Ax}=\mathbf{b}$ 有且仅有唯一解。
• 从线性变换的角度， $\mathbf{A}$ 将 ${\mathbb{R}}^n$ 映射到 ${\mathbb{R}}^n$ ，即映射非退化、伸缩因子（行列式）非 $0$ ，故称之非奇异。
• 从向量组的角度，若 $\mathbf{A}=\left[{\mathbf{a}}_1,\cdots ,{\mathbf{a}}_n\right]$ ，则 ${\mathbf{a}}_1,\cdots ,{\mathbf{a}}_n$ 这 $n$ 个列向量线性无关。

当然，我们这里似乎还没给出向量组线性无关的定义。

定义：向量组 { u 1 , ⋯   , u n } \left\{ \boldsymbol{u}_1,\cdots ,\boldsymbol{u}_n \right\} {u1​,⋯,un​} 线性无关，当且仅当 $c_1{\mathbf{u}}_1+\cdots +c_n{\mathbf{u}}_n=0$ 只有零解 $c_1=\cdots =c_n=0$

向量空间、内积、范数

如果以向量为元素的集合 $V$ 配备了加法和乘法两种运算，并且满足那八条加法乘法公理，还对线性运算闭合，则称之向量空间。比如我们熟悉的 $\left({\mathbb{R}}^n,+,\times \right)$ 就是向量空间。

过原点的超平面则为 ${\mathbb{R}}^n$ 的子空间，子空间之间可以进行“和”与“交”的运算，不交（即交集为 { 0 } \left\{ 0 \right\} {0} ）的子空间的和叫做“直和”。

为了对向量空间 $V$ 的元素进行某种程度的度量，我们引入内积 $⟨\cdot ,\cdot ⟩$ 。内积是两个向量到数域的映射，如常用的 ${\mathbb{C}}^n\times {\mathbb{C}}^n\to \mathbb{C}$ 。内积应当满足共轭对称性、线性性、非负性。

内积可以诱导范数，例如 $2$ 范数就可以内积表示，即 ${\Vert \mathbf{x}\Vert }_2=\sqrt{⟨\mathbf{x},\mathbf{x}⟩}$ 。严格来说，范数是向量到数域的映射，且应满足非负性、齐次性、三角不等式。

如果 $V$ 内的每个柯西列总能收敛于都能收敛到 $V$ 上，则称 $V$ 是完备的。

注：直观地看，完备意味着空间没有“洞”。
有理数域 $\mathbb{Q}$ 就不是完备的，例如数列 ( 2 ) n = { 1 , 1.4 , 1.41 , 1.414 , ⋯   } \left(\sqrt{2}\right)_n=\left\{1,1.4,1.41,1.414,\cdots\right\} (2 ​)n​={1,1.4,1.41,1.414,⋯} 均为有理数，但其极限值 $\sqrt{2}$ 则不属于有理数集，这意味着有理数集是“有洞的”。

我们将完备的赋范线性空间称为Banach空间，而Hilbert空间则是更进一步，我们将完备的内积线性空间称为Hilbert空间。因为内积可以诱导出范数，或者说内积强于范数，所以Hilbert空间是Banach空间的特例。

对于我们比较常用的向量内积即为 $⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^{\mathrm{H}}\mathbf{y}={\sum }_{k=1}^n{x}_k^{\ast }{y}_k$ ，函数内积则是 $⟨\mathbf{x},\mathbf{y}⟩={\int }_a^b{x}^{\ast }\left(t\right)y\left(t\right)\mathrm{d}t$ ，其实就是把求和换成了积分。

常用的向量范数则是 ${\Vert \mathbf{x}\Vert }_p={\left({\sum }_{k=1}^n{\left|x_k\right|}^p\right)}^{1/p}$ 。特别地， ∥ x ∥ ∞ = max ⁡ { ∣ x 1 ∣ , ⋯   , ∣ x n ∣ } = lim ⁡ p → ∞ ( ∑ k = 1 n ∣ x k ∣ p ) 1 / p \left\| \boldsymbol{x} \right\| _{\infty}=\max \left\{ \left| x_1 \right|,\cdots ,\left| x_n \right| \right\} =\lim_{p\rightarrow \infty} \left( \sum_{k=1}^n{\left| x_k \right|^p} \right) ^{1/p} ∥x∥∞​=max{∣x1​∣,⋯,∣xn​∣}=limp→∞​(∑k=1n​∣xk​∣p)1/p ， $2$ 范数则是我们熟悉的欧几里得范数。

矩阵范数的诱导范数通常更加复杂，但是有另一种相对简单形式的范数，就是把矩阵拉伸成一个向量来处理（详见后续“向量化、矩阵化”节），从而退化为向量范数，称之为元素范数。特别地，拉伸后取向量 $2$ 范数被称为Frobenius范数，即 ${\Vert \mathbf{A}\Vert }_{\mathrm{F}}={⟨\mathbf{A},\mathbf{A}⟩}^{1/2}=\sqrt{\mathrm{tr}\left({\mathbf{A}}^{\mathrm{H}}\mathbf{A}\right)}$ 。

矩阵的诱导范数又称算子范数，顾名思义其衡量了矩阵 $\mathbf{A}$ 作为算子的性能，这一性能的衡量方式是由向量范数诱导。具体而言向量范数 $\Vert \cdot \Vert$ 为诱导出的矩阵范数为 $\Vert \mathbf{A}\Vert ={\max }_{\mathbf{x}\ne 0}\frac{\Vert \mathbf{Ax}\Vert }{\Vert \mathbf{x}\Vert }$ 。我们常用的为 $p$ 范数，即 ${\Vert \mathbf{A}\Vert }_p={\max }_{\mathbf{x}\ne 0}\frac{{\Vert \mathbf{Ax}\Vert }_p}{{\Vert \mathbf{x}\Vert }_p}$ 。

直观地说，矩阵的算子范数相当于衡量了：经过矩阵算子 $\mathbf{A}$ 作用后，向量的模最多会被放大几倍。

特别地， ${\Vert \mathbf{A}\Vert }_2={\Vert \mathbf{A}\Vert }_{\mathrm{spec}}$ 被称为谱范数。这一点很好理解，因为算子范数可以看作对矩阵的伸缩能力极限情形的衡量，而最大特征值（谱半径）则体现了这一点。

$$\{\begin{array}{l}{\Vert \mathbf{A}\Vert }_1={\max }_{1⩽j⩽n}{\sum }_{i=1}^m\left|a_{ij}\right|\\ {\Vert \mathbf{A}\Vert }_2={\Vert \mathbf{A}\Vert }_{\mathrm{spec}}=\sqrt{{\lambda }_{\max }\left({\mathbf{A}}^{\mathrm{H}}\mathbf{A}\right)}\\ {\Vert \mathbf{A}\Vert }_{\infty }={\max }_{1⩽i⩽m}{\sum }_{j=1}^n\left|a_{ij}\right|\end{array}\text{\hspace{1em}(1.1)}$$

注：之所以如此定义诱导范数，是注意到柯西-施瓦茨不等式 $\Vert \mathbf{Ax}\Vert ⩽\Vert \mathbf{A}\Vert \Vert \mathbf{x}\Vert$ 。

行列式、特征值、迹

行列式体现了矩阵作为线性变换的伸缩系数，特别地，行列式为 $0$ 意味着该线性映射是退化的。行列式最美妙的性质为 $\det \left(\mathbf{AB}\right)=\det \left(\mathbf{A}\right)\det \left(\mathbf{B}\right)$ 。

特征值和特征向量则是从特征域来观察矩阵的特性，将任意向量分解到特征向量基上，则每个分量都是简单的伸缩变换。最美妙的性质即 $\mathrm{eig}\left(\mathbf{AB}\right)=\mathrm{eig}\left(\mathbf{BA}\right)$ ，并且非零特征值的数量不超过矩阵的秩。

迹为矩阵的对角元素之和，其恰为矩阵特征值之和。 $\mathrm{tr}\left(\mathbf{AB}\right)=\mathrm{tr}\left(\mathbf{BA}\right)$ 是一个好用的迹等式，这一性质也被称为相似不变。

逆、广义逆

在小学我们学过一元一次方程，比如 $3x=9$ ，我们的做法是等式左右同时除以 $3$ 。那么如果只能用乘法该怎么办呢？就是左右同时乘以 $1/3$ ，我们称 $1/3$ 为 $3$ 的逆元。

同理，为了求解矩阵方程 $\mathbf{Ax}=\mathbf{b}$ ，在等式左右同时乘以 $\mathbf{A}$ 的逆，得到 $\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$ 。只有满秩矩阵才有逆矩阵，为了让非满秩矩阵也能应用上述逆矩阵的结论，我们引入矩阵的广义逆。

设 $m\times n$ 维的矩阵秩为 $r$ ，若 $m>n$ 且 $r=n$ ，即列满秩矩阵。我们将满足 $\mathbf{LA}=\mathbf{I}$ 的矩阵 $\mathbf{L}$ 称为矩阵 $\mathbf{A}$ 的左伪逆，此时 $\mathbf{L}={\left({\mathbf{A}}^{\mathrm{H}}\mathbf{A}\right)}^{-1}{\mathbf{A}}^{\mathrm{H}}$ 满足要求且唯一。类似地，对于行满秩的欠定方程，考虑 $\mathbf{AR}=\mathbf{I}$ ，我们也能给出其右伪逆 $\mathbf{R}={\mathbf{A}}^{\mathrm{H}}{\left(\mathbf{A}{\mathbf{A}}^{\mathrm{H}}\right)}^{-1}$ 。

对于一般的奇异矩阵，即 $m,n$ 关系不定且 $r<m,r<n$ 。那么我们如何求出这一广义逆呢？我们不难证明任意矩阵都存在满秩分解，即一定存在 ${\mathbf{A}}_{m\times n}={\mathbf{B}}_{m\times r}{\mathbf{C}}_{r\times n}$ ，其中 $\mathbf{B},\mathbf{C}$ 分别满列秩、满行秩。而满行秩和满列秩矩阵的伪逆是上面已经讨论完毕的，从而得到

$$\begin{array}{rl}{\mathbf{A}}^{†}& ={\mathbf{C}}^{†}{\mathbf{B}}^{†}\\ & ={\mathbf{C}}^{\mathrm{H}}{\left({\mathbf{CC}}^{\mathrm{H}}\right)}^{-1}{\left({\mathbf{B}}^{\mathrm{H}}\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\mathrm{H}}\\ & ={\mathbf{C}}^{\mathrm{H}}{\left({\mathbf{B}}^{\mathrm{H}}{\mathbf{AC}}^{\mathrm{H}}\right)}^{-1}{\mathbf{B}}^{\mathrm{H}}\end{array}\text{\hspace{1em}(2.1)}$$

我们将广义逆矩阵记为 ${\mathbf{A}}^{†}$ ，称为Moore-Penrose逆矩阵，这种逆矩阵给出的解恰好是一致方程的最小二乘解、非一致方程的最小范数最小二乘解。

注：这里稍微展开讲一点点，对于非满秩一致方程，其有无穷多解，我们通常关心其最小范数解。对于非一致方程，其只有矛盾解，我们通常关心其最小二乘解。然而上述条件单独拿出来无法唯一给出广义逆，于是将这两者需要的条件结合起来，并且期望广义逆的广义逆是自身，从而得到了Moore-Penrose逆矩阵的条件。

值得特殊说明的是，若 $\mathbf{A}$ 、 $\mathbf{B}$ 非方阵， $\mathbf{AB}$ 可逆，则不一定有 ${\left(\mathbf{AB}\right)}^{-1}={\mathbf{B}}^{†}{\mathbf{A}}^{†}$ 。

矩阵方程、向量化、Kronecker积

考虑矩阵方程 $\mathbf{AXB}=\mathbf{C}$ ， $\mathbf{LX}+\mathbf{XN}=\mathbf{Y}$ ，其解可用Kronecker积的形式表述。这是因为矩阵乘积的向量化可以用Kronecker积的形式表示其轮换结果，为此我们先引入矩阵的向量化。

向量化、矩阵化

在前面引入矩阵的元素范数时，我们将矩阵拉伸为了列向量，然后应用向量的范数。此处我们给出一个具体的定义。

对于矩阵 $\mathbf{A}=\left[{\mathbf{\alpha }}_1,\cdots {\mathbf{\alpha }}_n\right]\in {\mathbb{R}}^{m\times n}$ ，将其按列顺序抽取排列为一个 $mn\times 1$ 的列向量，称之为矩阵的列向量化，即 $\mathrm{vec}\left(\mathbf{A}\right)=\left[\begin{array}{c}{\mathbf{\alpha }}_1\\ ⋮\\ {\mathbf{\alpha }}_n\end{array}\right]$ 。同理可以定义矩阵的行向量化，即按行顺序抽取为行向量，其中有 $\mathrm{rvec}\left(\mathbf{A}\right)={\left(\mathrm{vec}\left({\mathbf{A}}^{\mathrm{T}}\right)\right)}^{\mathrm{T}}$ 。

其逆过程则称为矩阵化，其中有 ${\mathrm{unvec}}_{m,n}\left(\mathrm{vec}\left({\mathbf{A}}_{m,n}\right)\right)={\mathbf{A}}_{m,n}$ 。

交换矩阵

为了实现矩阵的向量化到其转置的向量化的变换，我们引入一个名为交换矩阵 ${\mathbf{K}}_{mn}$ 的东西，其中有 ${\mathbf{K}}_{mn}\mathrm{vec}\left(\mathbf{A}\right)=\mathrm{vec}\left({\mathbf{A}}^{\mathrm{T}}\right)$ 。我们可以将 ${\mathbf{K}}_{mn}$ 看作将 $\mathrm{vec}\left(\mathbf{A}\right)$ 映射为 $\mathrm{vec}\left({\mathbf{A}}^{\mathrm{T}}\right)$ 的算子，而不必纠结这个矩阵本身的数值特性。

矩阵直和

与直和类似地，对于 $m$ 阶方阵 $\mathbf{A}$ 和 $n$ 阶方阵 $\mathbf{B}$ ，其矩阵直和定义为 $\mathbf{A}\oplus \mathbf{B}=\left[\begin{array}{cc}\mathbf{A}& {\mathbf{O}}_{m\times n}\\ {\mathbf{O}}_{n\times m}& \mathbf{B}\end{array}\right]$ 。

这里介绍直和主要是为了和后续的直积相呼应。

Kronecker积

熟悉张量的同学应该会很熟悉Kronecker积，其中 $\mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}\mathbf{B}& a_{12}\mathbf{B}& \cdots & a_{1n}\mathbf{B}\\ a_{21}\mathbf{B}& a_{22}\mathbf{B}& \cdots & a_{2n}\mathbf{B}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}\mathbf{B}& a_{m2}\mathbf{B}& \cdots & a_{mn}\mathbf{B}\end{array}\right]$ ，是一个 ${\mathbb{R}}^{m\times n}\times {\mathbb{R}}^{p\times q}\to {\mathbb{R}}^{mp\times nq}$ 的映射。

Kronecker积也被称为直积或张量积，其不满足交换律，但满足对加减法的分配律等性质。其中有一个重要的性质是

$$\begin{array}{rl}\mathrm{vec}\left(\mathbf{ABC}\right)& =\left({\mathbf{C}}^{\mathrm{T}}\otimes \mathbf{A}\right)\mathrm{vec}\left(\mathbf{B}\right)\\ & =\left(\mathbf{I}\otimes \mathbf{AB}\right)\mathrm{vec}\left(\mathbf{C}\right)\\ & =\left({\mathbf{C}}^{\mathrm{T}}{\mathbf{B}}^{\mathrm{T}}\otimes \mathbf{I}\right)\mathrm{vec}\left(\mathbf{A}\right)\end{array}\text{\hspace{1em}(3.1)}$$

两个矩阵方程

回到开头说的两个矩阵方程 $\mathbf{AXB}=\mathbf{C}$ ， $\mathbf{LX}+\mathbf{XN}=\mathbf{Y}$ 。对于 $\mathbf{AXB}=\mathbf{C}$ ，等式左右同时取向量化，并应用式 $\left(3.1\right)$ 的结论，得

$$\begin{array}{l}\mathbf{AXB}=\mathbf{C}\\ \Rightarrow \mathrm{vec}\left(\mathbf{AXB}\right)=\mathrm{vec}\left(\mathbf{C}\right)\\ \Rightarrow \left({\mathbf{B}}^{\mathrm{T}}\otimes \mathbf{A}\right)\mathrm{vec}\left(\mathbf{X}\right)=\mathrm{vec}\left(\mathbf{C}\right)\end{array}\text{\hspace{1em}(3.2)}$$

$$\begin{array}{l}\mathbf{LX}+\mathbf{XN}=\mathbf{Y}\\ \Rightarrow \mathbf{LXI}+\mathbf{IXN}=\mathbf{Y}\\ \Rightarrow \left(\mathbf{I}\otimes \mathbf{L}+\left({\mathbf{N}}^{\mathrm{T}}\otimes \mathbf{I}\right)\right)\mathrm{vec}\left(\mathbf{X}\right)=\mathrm{vec}\left(\mathbf{Y}\right)\end{array}\text{\hspace{1em}(3.3)}$$

Hadamard积

Hadamard积实际上就是我们熟悉的matlab点乘，即matlab的 A .* B ，数学上记为 $\mathbf{A}\odot \mathbf{B}$ 。

这里的符号似乎不太统一，百度百科上用的 $\mathbf{A}\circ \mathbf{B}$ ，参考书目中用的是 $\mathbf{A}\ast \mathbf{B}$ （这恐怕是为了和Khatri-Rao积区分）。我这里是沿用的学校PPT的符号 $\odot$ 。

结语与综述

让我们来重新梳理一遍矩阵理论的引入逻辑，这里可能会涉及一些读者尚未学到的知识点。读者可以先行略过它们，等学到后面的知识后回头看，或许会有不一样的收获。

矩阵和向量天然地被赋予了两重意义。从线性方程组的角度来看，矩阵是线性方程组求解的抽象化。从线性空间的角度来看，矩阵是线性映射的可视化表示，是向量空间到向量空间的一种映射。

矩阵理论研究的内容相对线性代数而言会更加抽象，研究矩阵和向量作为一个数学抽象对象的性质，从而需要引入范数、内积、空间等进行数学抽象。为了对矩阵和向量进行度量，我们引入了范数和内积。其中范数可以赋予向量长度的概念，可以度量矩阵作为算子的性能。而内积则是更进一步，可以诱导出范数和“相似度”层面的度量。行列式则是对矩阵作为线性变换的伸缩性和奇异性的度量。

当然，一个非满秩的矩阵受到摄动通常也会变得满秩，但它们依然是病态的，这一病态性会导致微小的偏差就会引发解的很大偏差，条件数则可以衡量度量这一病态性。但本文并不会提及条件数这一概念。

我们知道：矩阵是一种线性变换，那么还能不能更简单一些？比如退化为更简单的伸缩变换。特征值分解则是将矩阵映射分解为若干在特征域上对特征向量的伸缩操作之和。类似的还有奇异值分解，奇异值分解将矩阵映射分解为了两个互逆的幺正变换（直观地说就是平移、旋转、镜像等操作）与伸缩变换，从而可以提取出矩阵的主成分。当然在本文中并未提到这一点，这一点将在后续文章进行介绍。

为了更方便地求解线性方程组，我们引入矩阵的逆。然而只有满秩矩阵才有逆，为此我们引入了广义逆，从而使得所有矩阵都有着广义逆。广义逆可以给出一致方程的最小范数解，给出非一致方程的最小二乘解，且具有唯一性等良好性质。