矩阵乘操作、三角化、开方特征值 —— Umeyama 算法推导的数学准备 (III)

Title: 矩阵乘操作、三角化、开方特征值 —— Umeyama 算法推导的数学准备 (III)

---

前言

本篇博客梳理一下如下三个概念

[1] 矩阵乘的操作

[2] 矩阵的上三角化

[3] 已知平方矩阵的特征值求原矩阵的特征值

主要目标是为了明确第三个概念, 作为点云配准的奇异值算法 (Umeyama 算法) 推导的一个数学基础.

当然这些基本的数学概念在教科书中都能找到^[1], 写出来让自己理解更透彻一点.

---

I. 矩阵乘的操作

矩阵乘的列操作

假设矩阵 $\mathbf{A}$ 和矩阵 $\mathbf{P}$ 是两个 $n$ 阶矩阵 (方阵). 矩阵 $\mathbf{P}$ 写成列向量形式为 $\mathbf{P}=\left[\begin{array}{c}{\mathbf{p}}_1,\dots ,{\mathbf{p}}_n\end{array}\right]$. 矩阵乘可以写成
$$\mathbf{AP}=\left[\begin{array}{ccc}\mathbf{A}{\mathbf{p}}_1& \cdots & \mathbf{A}{\mathbf{p}}_n\end{array}\right]\text{\hspace{1em}(I-1)}$$
如果矩阵 $\mathbf{A}$ 是对角矩阵, 则
$$\mathbf{P}\left[\begin{array}{ccc}{a}_1& & \\ & \ddots & \\ & & a_n\end{array}\right]=\left[\begin{array}{ccc}{a}_1{\mathbf{p}}_1& \cdots & a_n{\mathbf{p}}_n\end{array}\right]$$

矩阵乘的行操作

假设矩阵 $\mathbf{A}$ 和矩阵 $\mathbf{P}$ 是两个 $n$ 阶矩阵 (方阵). 矩阵 $\mathbf{P}$ 写成行向量形式为 $\mathbf{P}=\left[\begin{array}{c}{\mathbf{p}}_1\\ ⋮\\ {\mathbf{p}}_n\end{array}\right]$. 矩阵乘可以写成
$$\mathbf{PA}=\left[\begin{array}{c}{\mathbf{p}}_1\mathbf{A}\\ ⋮\\ {\mathbf{p}}_n\mathbf{A}\end{array}\right]\text{\hspace{1em}(I-1)}$$
如果矩阵 $\mathbf{A}$ 是对角矩阵, 则
$$\left[\begin{array}{ccc}{a}_1& & \\ & \ddots & \\ & & a_n\end{array}\right]\mathbf{P}=\left[\begin{array}{c}{a}_1{\mathbf{p}}_1\\ ⋮\\ a_n{\mathbf{p}}_n\end{array}\right]$$

---

II. 上三角化

任何 $n$ 阶矩阵 (方阵) 相似于一个上三角矩阵.

Proof^[1]

利用归纳法证明.

如果 $n=1$, 本身就是上三角矩阵, 结论成立.

假设 $n-1$ 时结论成立, 即任何 $n-1$ 阶矩阵相似于一个上三角矩阵.

如何推得 $n$ 阶矩阵也成立？

假设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n$ 是独立无关的列向量, 其中 ${\mathbf{x}}_1$ 是矩阵 $\mathbf{A}$ 对应于特征值 ${\lambda }_1$ 的特征向量. 注意除了 ${\mathbf{x}}_1$ 以外其他列向量没有被要求是 $\mathbf{A}$ 的特征向量.

定义
$${\mathbf{P}}_1\triangleq \left[\begin{array}{cccc}{\mathbf{x}}_1& {\mathbf{x}}_2& \dots & {\mathbf{x}}_n\end{array}\right]\text{\hspace{1em}(II-1)}$$
则根据上一节矩阵乘的操作有
$$\mathbf{A}{\mathbf{P}}_1=\left[\begin{array}{cccc}\mathbf{A}{\mathbf{x}}_1& \mathbf{A}{\mathbf{x}}_2& \cdots & \mathbf{A}{\mathbf{x}}_n\end{array}\right]=\left[\begin{array}{cccc}{\lambda }_1{\mathbf{x}}_1& \mathbf{A}{\mathbf{x}}_2& \cdots & \mathbf{A}{\mathbf{x}}_n\end{array}\right]\text{\hspace{1em}(II-2)}$$
又因为逆矩阵的性质
$$\begin{array}{rl}{\mathbf{P}}_1^{-1}{\mathbf{P}}_1& ={\mathbf{P}}_1^{-1}\left[\begin{array}{cccc}{\mathbf{x}}_1& {\mathbf{x}}_2& \dots & {\mathbf{x}}_n\end{array}\right]\\ & =\left[\begin{array}{cccc}{\mathbf{P}}_1^{-1}{\mathbf{x}}_1& {\mathbf{P}}_1^{-1}{\mathbf{x}}_2& \dots & {\mathbf{P}}_1^{-1}{\mathbf{x}}_n\end{array}\right]\\ & =\left[\begin{array}{ccc}1& & \\ & \ddots & \\ & & 1\end{array}\right]\end{array}\text{\hspace{1em}(II-3)}$$
可以知道 ${\mathbf{P}}_1^{-1}{\mathbf{x}}_1=\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right]$ 及 ${\mathbf{P}}_1^{-1}{\lambda }_1{\mathbf{x}}_1=\left[\begin{array}{c}{\lambda }_1\\ 0\\ ⋮\\ 0\end{array}\right]$.

故有
$$\begin{array}{rl}{\mathbf{P}}_1^{-1}\mathbf{A}{\mathbf{P}}_1& ={\mathbf{P}}_1^{-1}\left[\begin{array}{cccc}{\lambda }_1{\mathbf{x}}_1& \mathbf{A}{\mathbf{x}}_2& \cdots & \mathbf{A}{\mathbf{x}}_n\end{array}\right]\\ & =\left[\begin{array}{cccc}{\mathbf{P}}_1^{-1}{\lambda }_1{\mathbf{x}}_1& {\mathbf{P}}_1^{-1}\mathbf{A}{\mathbf{x}}_2& \cdots & {\mathbf{P}}_1^{-1}\mathbf{A}{\mathbf{x}}_n\end{array}\right]\\ & =\left[\begin{array}{cc}{\lambda }_1& \begin{array}{ccc}{b}_{12}& \cdots & b_{1n}\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& {\mathbf{A}}_1\end{array}\right]\end{array}\text{\hspace{1em}(II-4)}$$
由归纳法对 $n-1$ 情况的假设可知, 存在 $n-1$ 阶方阵 $\mathbf{Q}$ 使得
$${\mathbf{Q}}^{-1}{\mathbf{A}}_1\mathbf{Q}=\left[\begin{array}{ccc}{\lambda }_2& & \ast \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]\text{\hspace{1em}(II-5)}$$
令
$${\mathbf{P}}_2\triangleq \left[\begin{array}{cc}1& \begin{array}{ccc}0& \cdots & 0\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& \mathbf{Q}\end{array}\right]\text{\hspace{1em}(II-6)}$$
则其逆为
$${\mathbf{P}}_2^{-1}\triangleq \left[\begin{array}{cc}1& \begin{array}{ccc}0& \cdots & 0\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& {\mathbf{Q}}^{-1}\end{array}\right]\text{\hspace{1em}(II-7)}$$
同时令
$$\mathbf{P}\triangleq {\mathbf{P}}_1{\mathbf{P}}_2\text{\hspace{1em}(II-8)}$$
计算
$$\begin{array}{rl}{\mathbf{P}}^{-1}\mathbf{AP}& =({\mathbf{P}}_1{\mathbf{P}}_2{)}^{-1}\mathbf{A}({\mathbf{P}}_1{\mathbf{P}}_2)={\mathbf{P}}_2^{-1}({\mathbf{P}}_1^{-1}\mathbf{A}{\mathbf{P}}_1){\mathbf{P}}_2\\ \text{(II-4)}& ={\mathbf{P}}_2^{-1}\left[\begin{array}{cc}{\lambda }_1& \begin{array}{ccc}{b}_{12}& \cdots & b_{1n}\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& {\mathbf{A}}_1\end{array}\right]{\mathbf{P}}_2\\ \text{(II-6),(II-7)}& =\left[\begin{array}{cc}1& \begin{array}{ccc}0& \cdots & 0\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& {\mathbf{Q}}^{-1}\end{array}\right]\left[\begin{array}{cc}{\lambda }_1& \begin{array}{ccc}{b}_{12}& \cdots & b_{1n}\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& {\mathbf{A}}_1\end{array}\right]\left[\begin{array}{cc}1& \begin{array}{ccc}0& \cdots & 0\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& \mathbf{Q}\end{array}\right]\\ & =\left[\begin{array}{cc}{\lambda }_1& \begin{array}{ccc}0& \cdots & 0\end{array}\\ \begin{array}{c}0\\ ⋮\\ 0\end{array}& {\mathbf{Q}}^{-1}{\mathbf{A}}_1\mathbf{Q}\end{array}\right]\\ \text{(II-5)}& =\left[\begin{array}{cc}{\lambda }_1& \\ & \begin{array}{ccc}{\lambda }_2& & \ast \\ & \ddots & \\ & & {\lambda }_n\end{array}\end{array}\right]\end{array}\text{\hspace{1em}(II-9)}$$
这样推导得到归纳法的 $n$ 阶矩阵情况也成立.

证明完毕.

---

III. 矩阵开平放的特征值

假设 $\mathbf{A}$ 是一个复矩阵. $\lambda$ 是 ${\mathbf{A}}^2$ 的特征值. 则可证明 $\sqrt{\lambda }$ 或者 $-\sqrt{\lambda }$ 是 $\mathbf{A}$ 的特征值.

Proof^[1]

根据上一小节以证明的定理 “任何 $n$ 阶矩阵 (方阵) 相似于一个上三角矩阵”, 假设矩阵 $\mathbf{A}$ 相似于上三角矩阵 $\mathbf{B}$, 即
$${\mathbf{P}}^{-1}\mathbf{AP}=\mathbf{B}\triangleq \left[\begin{array}{ccc}{b}_{11}& & \ast \\ & \ddots & \\ & & b_{nn}\end{array}\right]\text{\hspace{1em}(III-1)}$$
那么
$${\mathbf{P}}^{-1}{\mathbf{A}}^2\mathbf{P}={\mathbf{B}}^2\triangleq \left[\begin{array}{ccc}{b}_{11}^2& & \ast \\ & \ddots & \\ & & b_{nn}^2\end{array}\right]\text{\hspace{1em}(III-2)}$$
说明这种情况下 ${\mathbf{A}}^2$ 与 ${\mathbf{B}}^2$ 也相似.
如下算式说明相似矩阵的特征方程是一致的.
$$\begin{array}{rl}\left|{\mathbf{P}}^{-1}{\mathbf{A}}^2\mathbf{P}-\lambda \mathbf{I}\right|& =\left|{\mathbf{P}}^{-1}\right|\cdot \left|{\mathbf{A}}^2-\lambda \mathbf{I}\right|\cdot \left|\mathbf{P}\right|\\ & =\left|{\mathbf{P}}^{-1}\right|\cdot \left|\mathbf{P}\right|\cdot \left|{\mathbf{A}}^2-\lambda \mathbf{I}\right|\\ & =\left|{\mathbf{P}}^{-1}\mathbf{P}\right|\cdot \left|{\mathbf{A}}^2-\lambda \mathbf{I}\right|\\ & =\left|{\mathbf{A}}^2-\lambda \mathbf{I}\right|\end{array}\text{\hspace{1em}(III-3)}$$
特征方程的根就是特征值, 因为 ${\mathbf{P}}^{-1}{\mathbf{A}}^2\mathbf{P}$ 与 ${\mathbf{A}}^2$ 特征方程一致, 故特征值也一样. 也就是相似矩阵的特征值一致.

因为 $\lambda$ 是 ${\mathbf{A}}^2$ 的特征值, 故也是 ${\mathbf{B}}^2$ 的特征值. 则 $\lambda$ 必为上三角矩阵 ${\mathbf{B}}^2$ 的对角线上的元素之一, 如
$$\lambda =b_{kk}^2$$
那么 $\mathbf{A}$ 的特征值 (也就是 $\mathbf{B}$ 的特征值)
$$b_{kk}=\sqrt{\lambda }\text{or}{b}_{kk}=-\sqrt{\lambda }$$
证明完毕.

---

参考文献

[1] C Y Hsiung, G Y Mao, Linear Algebra, World Scientific Publishing Company, 1998