矩阵乘法可交换与可同时对角化的关系 —— Umeyama 算法推导的数学准备 (I)

Title: 矩阵乘法可交换与可同时对角化的关系 —— Umeyama 算法推导的数学准备 (I)

---

引言

之所以把这个矩阵乘法可交换充分必要条件的定理^[1]的证明自己消化一下, 是因为在点云配准的奇异值算法 (Umeyama 算法) 中用到了. 我们先把一些数学基础准备好, 最后推导 Umeyama 算法. 本博客文章就是其中的一个数学准备.

当然这些数学定理在教科书中都能找到, 我只是学着用自己的语言很啰嗦地再推一遍, 减少了一点理解难度, 也为了自己后面查阅.

---

定理

定理^[1]

A necessary and sufficient condition that there exist an orthogonal matrix $\mathbf{T}$ with the property that
$$\begin{gathered} {\mathbf{T}}^{\prime }\mathbf{AT}=\left[\begin{array}{cc}\begin{array}{cc}{\lambda }_1& \\ & {\lambda }_2\end{array}& 0\\ 0& \begin{array}{cc}\ddots & \\ & {\lambda }_n\end{array}\end{array}\right] \\ {\mathbf{T}}^{\prime }\mathbf{BT}=\left[\begin{array}{cc}\begin{array}{cc}{\mu }_1& \\ & {\mu }_2\end{array}& 0\\ 0& \begin{array}{cc}\ddots & \\ & {\mu }_n\end{array}\end{array}\right] \end{gathered}$$
is that $A$ and $B$ commute.

---

证明

1. 充分性

因为需要正交相似特性, 矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 都是对称阵.

情况一: 如果两个矩阵中有任一矩阵只具有单特征值

假设 $\mathbf{A}$ 具有各不相同的特征值, 其中一个特征值为 ${\lambda }_i$, 对应特征向量为 ${\mathbf{x}}_i$ (其中 $i=1,2,\dots ,n$). 则有
$$\mathbf{A}{\mathbf{x}}_{\mathbf{i}}={\lambda }_i{\mathbf{x}}_{\mathbf{i}}\text{\hspace{1em}(I-1-1)}$$
由 $\mathbf{A}$ 和 $\mathbf{B}$ 乘法可交换条件, 可知
$$\mathbf{A}(\mathbf{B}{\mathbf{x}}_{\mathbf{i}})=\mathbf{B}(\mathbf{A}{\mathbf{x}}_{\mathbf{i}})=\mathbf{B}({\lambda }_i{\mathbf{x}}_{\mathbf{i}})={\lambda }_i(\mathbf{B}{\mathbf{x}}_{\mathbf{i}})\text{\hspace{1em}(I-1-2)}$$
所以 $\mathbf{B}{\mathbf{x}}_{\mathbf{i}}$ 也是 $\mathbf{A}$ 对应于特征值 ${\lambda }_i$ 的特征向量.

由"几何重数小于等于代数重数" 可知特征向量构成的向量空间的维度为 1, 故 $\mathbf{B}{\mathbf{x}}_{\mathbf{i}}$ 与 ${\mathbf{x}}_{\mathbf{i}}$ 是不独立的. 即存在一个标量 ${\mu }_i$ 使得下式成立
$$\mathbf{B}{\mathbf{x}}_{\mathbf{i}}={\mu }_i{\mathbf{x}}_{\mathbf{i}}\text{\hspace{1em}(I-1-3)}$$
其中 $i=1,2,\dots ,n$ 上式都满足.

事实上, 由式 (I-1-3) 可知 ${\mu }_i$ 和 ${\mathbf{x}}_i$ 是 $\mathbf{B}$ 的特征值和对应的特征向量 ($i=1,2,\dots ,n$).

那么 $\mathbf{A}$ 和 $\mathbf{B}$ 拥有相同的特征向量 ${\mathbf{x}}_i$ ($i=1,2,\dots ,n$), 可以构造
$$\mathbf{T}=\left[\begin{array}{cccc}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_n\end{array}\right]$$
因为 “对称矩阵的不同特征值对应的特征向量是相互正交的”, 故 $\mathbf{T}$ 是正交矩阵. 因为 $\mathbf{T}$ 由 $\mathbf{A}$ 和 $\mathbf{B}$ 的特征向量构成, 所以能对 $\mathbf{A}$ 和 $\mathbf{B}$ 对角化.

得到结论.

---

情况二: 如果两个矩阵都有多重特征值

A. 第一个矩阵的特征向量

假设一般情况, ${\lambda }_1$ 为 $\mathbf{A}$ 的多重特征值, 对应特征向量有 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_k$. 通过施密特正交化过程可以使得同一特征值对应的这些特征向量之间相互正交.

不像式 (I-1-3) 所示同一单特征值对应的不同特征向量之间相差一个标量乘数. 多重特征值的特征向量之间的关系相对复杂.

因为 $n$ 阶对称矩阵具有 $n$ 个线性无关的特征向量, 所以任何 $n$ 维向量都可以通过这些特征向量来构建. 那么我们就从 $\mathbf{A}$ 全体特征向量中, 构造对应于 ${\lambda }_1$ 的新特征向量 $\mathbf{y}$
$$\mathbf{y}=\sum _{j=1}^n{c}_j{\mathbf{x}}_{\mathbf{j}}\text{\hspace{1em}(I-2-A-1)}$$
由特征向量的性质
$$\mathbf{Ay}={\lambda }_1\mathbf{y}\text{\hspace{1em}(I-2-A-2)}$$
并将式 (I-2-A-1) 代入
$$\mathbf{A}\sum _{j=1}^n{c}_j{\mathbf{x}}_{\mathbf{j}}={\lambda }_1\sum _{j=1}^n{c}_j{\mathbf{x}}_{\mathbf{j}}\text{\hspace{1em}(I-2-A-3)}$$
因为特征向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n$ 之间都线性无关, 要让式 (I-2-A-3) 成立只能下式成立
$$c_q\mathbf{A}{\mathbf{x}}_{\mathbf{q}}=c_q{\lambda }_1{\mathbf{x}}_q(\text{for}q=1,2,\dots ,n)\text{\hspace{1em}(I-2-A-4)}$$
并且当 ${\mathbf{x}}_q$ ($q\ne 1,2,\dots ,k$) 不是 ${\lambda }_1$ 的特征向量时,
$$\mathbf{A}{\mathbf{x}}_q\ne {\lambda }_1{\mathbf{x}}_q\text{\hspace{1em}(I-2-A-5)}$$
此时只能 $c_q=0$.

所以与多重特征值 ${\lambda }_1$ 相关的新构造的特征向量和原有的特征向量之间的线性关系如下
$$\mathbf{y}=\sum _{j=1}^k{c}_j{\mathbf{x}}_{\mathbf{j}}\text{\hspace{1em}(I-2-A-6)}$$
多重特征值 ${\lambda }_1$ 相关的特征向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_k$ 的线性组合也是其相关的特征向量.

---

B. 第二个矩阵的特征向量

同样由 $\mathbf{A}$ 和 $\mathbf{B}$ 乘法可交换条件, 可知
$$\mathbf{A}(\mathbf{B}{\mathbf{x}}_{\mathbf{i}})=\mathbf{B}(\mathbf{A}{\mathbf{x}}_{\mathbf{i}})=\mathbf{B}({\lambda }_1{\mathbf{x}}_{\mathbf{i}})={\lambda }_1(\mathbf{B}{\mathbf{x}}_{\mathbf{i}}),(\text{for}i=1,2,\dots ,k)\text{\hspace{1em}(I-2-B-1)}$$
所以 $\mathbf{B}{\mathbf{x}}_{\mathbf{i}}$ 也是 $\mathbf{A}$ 对应于特征值 ${\lambda }_1$ 的特征向量. 由 ${\lambda }_1$ 新特征向量的构造式 (I-2-A-6) 可知
$$\mathbf{B}{\mathbf{x}}_i=\sum _{p=1}^k{c}_{ip}{\mathbf{x}}_{\mathbf{p}},(\text{for}i=1,2,\dots ,k)\text{\hspace{1em}(I-2-B-2)}$$
利用特征向量之间的正交性 (施密特正交化后的) 可知,
$${\mathbf{x}}_j^{\mathrm{T}}\mathbf{B}{\mathbf{x}}_i={\mathbf{x}}_j^{\mathrm{T}}\sum _{p=1}^k{c}_{ip}{\mathbf{x}}_{\mathbf{p}}=c_{ij},(\text{for}i,j=1,2,\dots ,k)\text{\hspace{1em}(I-2-B-3)}$$

$${\left({\mathbf{x}}_j^{\mathrm{T}}\mathbf{B}{\mathbf{x}}_i\right)}^{\mathrm{T}}={\mathbf{x}}_i^{\mathrm{T}}\mathbf{B}{\mathbf{x}}_j={\mathbf{x}}_i^{\mathrm{T}}\sum _{p=1}^k{c}_{jp}{\mathbf{x}}_{\mathbf{p}}=c_{ji},(\text{for}i,j=1,2,\dots ,k)\text{\hspace{1em}(I-2-B-4)}$$

因为 ${\mathbf{x}}_j^{\mathrm{T}}\mathbf{B}{\mathbf{x}}_i$ 是标量, 转置不变. 所以有
$$c_{ij}=c_{ji},(\text{for}i,j=1,2,\dots ,k)\text{\hspace{1em}(I-2-B-5)}$$
再次构造 ${\lambda }_1$ 对应的正交特征向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_k$ 的线性组合 ${\sum }_{i=1}^k{a}_i{\mathbf{x}}_i$, 其中 $a_i$ ($i=1,2,\dots ,k$) 是待确定的系数. 可以得到
$$\begin{array}{rl}\mathbf{B}\left(\sum _{i=1}^k{a}_i{\mathbf{x}}_i\right)& =\sum _{i=1}^k{a}_i\left(\mathbf{B}{\mathbf{x}}_i\right)\\ \text{(I-2-B-2)}& =\sum _{i=1}^k{a}_i\left(\sum _{j=1}^k{c}_{ij}{\mathbf{x}}_{\mathbf{j}}\right)\\ & =\sum _{j=1}^k\left(\sum _{i=1}^k{c}_{ij}{a}_i\right){\mathbf{x}}_{\mathbf{j}}\end{array}\text{\hspace{1em}(I-2-B-6)}$$

下面通过 $a_i$ 的取值, 凑出 $\mathbf{B}$ 的特征值和特征向量.

$$\begin{array}{rl}\left[\begin{array}{c}{\sum }_{i=1}^k{c}_{i1}{a}_i\\ {\sum }_{i=1}^k{c}_{i2}{a}_i\\ ⋮\\ {\sum }_{i=1}^k{c}_{ij}{a}_i\end{array}\right]& =\left[\begin{array}{cccc}{c}_{11}& c_{21}& \cdots & c_{k1}\\ c_{12}& c_{22}& \cdots & c_{k2}\\ ⋮& ⋮& \ddots & ⋮\\ c_{1k}& c_{2k}& \cdots & c_{kk}\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_k\end{array}\right]\\ \text{(I-2-B-5)}& =\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1k}\\ c_{21}& c_{22}& \cdots & c_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ c_{k1}& c_{k2}& \cdots & c_{kk}\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_k\end{array}\right]\end{array}\text{\hspace{1em}(I-2-B-7)}$$

已知矩阵

$$\mathbf{C}\triangleq \left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1k}\\ c_{21}& c_{22}& \cdots & c_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ c_{k1}& c_{k2}& \cdots & c_{kk}\end{array}\right]\text{\hspace{1em}(I-2-B-8)}$$

是对称矩阵. $k$ 阶对称矩阵 $\mathbf{C}$ 必然存在 $k$ 个线性无关的特征向量, 以及至少一个特征值. 我们将待定系数 $[a_1,a_2,\dots ,a_k{]}^{\mathrm{T}}$ 确定为 $\mathbf{C}$ 的一个特征向量, 其对应的特征值是 $\mu$, 则有

$$\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1k}\\ c_{21}& c_{22}& \cdots & c_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ c_{k1}& c_{k2}& \cdots & c_{kk}\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_k\end{array}\right]=\mu \left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_k\end{array}\right]\text{\hspace{1em}(I-2-B-9)}$$

即

$$\left[\begin{array}{c}{\sum }_{i=1}^k{c}_{i1}{a}_i\\ {\sum }_{i=1}^k{c}_{i2}{a}_i\\ ⋮\\ {\sum }_{i=1}^k{c}_{ij}{a}_i\end{array}\right]=\mu \left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_k\end{array}\right]\text{\hspace{1em}(I-2-B-10)}$$

上式代入式 (I-2-B-6) 得到

$$\begin{array}{rl}\mathbf{B}\left(\sum _{i=1}^k{a}_i{\mathbf{x}}_i\right)& =\sum _{j=1}^k\left(\sum _{i=1}^k{c}_{ij}{a}_i\right){\mathbf{x}}_{\mathbf{j}}\\ \text{(I-2-B-10)}& =\sum _{j=1}^k\left(\mu a_j\right){\mathbf{x}}_{\mathbf{j}}\\ & =\mu \left(\sum _{j=1}^k{a}_j{\mathbf{x}}_{\mathbf{j}}\right)\end{array}\text{\hspace{1em}(I-2-B-11)}$$

由上式可以看出 ${\sum }_{j=1}^k{a}_j{\mathbf{x}}_{\mathbf{j}}$ 是 $\mathbf{B}$ 的对应于特征值 $\mu$ 的特征向量. 事实上, 如果 ${\lambda }_1$ 对应的重数降为 1, 式 (I-2-B-11) 就会降为式 (I-1-3), 可以看出式兼容的.

---

C. 两个矩阵共同特征向量的性质

因为 $k$ 阶矩阵 $\mathbf{C}$ 是对称矩阵, 其具有 $k$ 个正交的特征向量, 记作 ${\mathbf{\alpha }}_j$ ($j=1,2,\dots ,k$). 将这些特征向量元素按列排列为
$${\mathbf{T}}_k\triangleq \left[\begin{array}{cccc}{\mathbf{\alpha }}_1& {\mathbf{\alpha }}_2& \dots & {\mathbf{\alpha }}_k\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1k}\\ a_{21}& a_{22}& \cdots & a_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ a_{k1}& a_{k2}& \cdots & a_{kk}\end{array}\right]\text{\hspace{1em}(I-2-C-1)}$$

故 ${\mathbf{T}}_k$ 是正交矩阵.

依照式 (I-2-B-11) 以 ${\mathbf{T}}_k$ 的每列作为不同线性组合系数来构成 $\mathbf{B}$ 的特征向量

$$\left[\begin{array}{cccc}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_k\end{array}\right]\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1k}\\ a_{21}& a_{22}& \cdots & a_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ a_{k1}& a_{k2}& \cdots & a_{kk}\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_k\end{array}\right]{\mathbf{T}}_k\text{\hspace{1em}(I-2-C-3)}$$

我们已经知道 “多重特征值 ${\lambda }_1$ 相关的特征向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_k$ 的线性组合也是其相关的特征向量”, 故 $([{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_k]{\mathbf{T}}_k)$ 也是 $\mathbf{A}$ 的对应于 ${\lambda }_1$ 的 $k$ 组特征向量.

如果有第二个多重特征值 ${\lambda }_2$ 对应的特征向量 ${\mathbf{x}}_k+1,{\mathbf{x}}_k+2,\dots ,{\mathbf{x}}_k+p$, 同样存在一个 $p$ 阶的正交阵 ${\mathbf{T}}_p$, 使得 $([{\mathbf{x}}_k+1,{\mathbf{x}}_k+2,\dots ,{\mathbf{x}}_k+p]{\mathbf{T}}_p)$ 同时是 $\mathbf{A}$ 和 $\mathbf{B}$ 的特征向量.

如有更多多重特征值, 以此类推.

对应于单特征值的特征向量 (如 ${\lambda }_3,\dots ,{\lambda }_l$ 对应的 ${\mathbf{x}}_{k+p+1},\dots ,{\mathbf{x}}_n$), 根据 “情况一: 如果两个矩阵中有任一矩阵只具有单特征值” 部分的分析, 这些特征向量都同时是 $\mathbf{A}$ 和 $\mathbf{B}$ 的特征向量, 无需再做处理.

统合以上情况, 我们把 $\mathbf{A}$ 和 $\mathbf{B}$ 共同的特征向量写在一起为

$$\mathbf{T}\triangleq \left[\begin{array}{ccccccccc}{\mathbf{x}}_1& \cdots & {\mathbf{x}}_k& {\mathbf{x}}_{k+1}& \cdots & {\mathbf{x}}_{k+p}& {\mathbf{x}}_{k+p+1}& \cdots & {\mathbf{x}}_n\end{array}\right]\left[\begin{array}{ccc}{\mathbf{T}}_k& & \\ & {\mathbf{T}}_p& \\ & & \begin{array}{ccc}1& & \\ & \ddots & \\ & & 1\end{array}\end{array}\right]\text{\hspace{1em}(I-2-C-4)}$$

因为相乘的两部分矩阵都是正交矩阵, 则 $\mathbf{T}$ 是正交矩阵.

因为 $\mathbf{T}$ 由 $\mathbf{A}$ 和 $\mathbf{B}$ 的特征向量构成, 所以能对 $\mathbf{A}$ 和 $\mathbf{B}$ 对角化.

至此充分性证明完毕.

---

2. 必要性

因为
$$\mathbf{A}=\mathbf{T}\left[\begin{array}{cc}\begin{array}{cc}{\lambda }_1& \\ & {\lambda }_2\end{array}& 0\\ 0& \begin{array}{cc}\ddots & \\ & {\lambda }_n\end{array}\end{array}\right]{\mathbf{T}}^{\mathrm{T}}\text{\hspace{1em}(II-1)}$$

$$\mathbf{B}=\mathbf{T}\left[\begin{array}{cc}\begin{array}{cc}{\mu }_1& \\ & {\mu }_2\end{array}& 0\\ 0& \begin{array}{cc}\ddots & \\ & {\mu }_n\end{array}\end{array}\right]{\mathbf{T}}^{\mathrm{T}}\text{\hspace{1em}(II-2)}$$

所以有
$$\mathbf{AB}=\mathbf{BA}\text{\hspace{1em}(II-3)}$$
完成必要性证明.

---

参考文献

[1] Richard Bellman, “Introduction to Matrix Analysis”, 2nd Edition, McGraw-Hill. (Pages 56~58)

---