重温基础数学--矩阵分解（二）

1. QR分解(QR decomposition)

1.1 定义

设$A\in C^{m\times r}_r$是一个列满秩矩阵，则，有如下分解

$$A=QR$$
其中， $Q\in U^{m\times r}_r$是一个次酉矩阵， $R$是一个$r\times r$的上三角矩阵。且 当对角线上元素均为正时，分解唯一。
【注】：此定义为复数域含义下，实数域自然适用。
示意图：

1.2 计算QR分解的方法

1.2.1 Gram-Schmidt正交化

以一个例子说明过程：

$$A= \begin{bmatrix} -3 & 1 & -2\\ 1 & 1 & 1\\ 1 & -1 & 0\\ 1 & -1 & 1\\ \end{bmatrix}=[\alpha_1 \quad \alpha_2 \quad \alpha_3]$$
将Gram-Schmidt正交化应用到矩阵 $A$的每一列，

• 正交化
  $\gamma_1=\alpha_1$
  $\gamma_2=\alpha_2-\frac{<\alpha_2,\gamma_1>}{<\gamma_1,\gamma_1>}\gamma_1$
  $\gamma_3=\alpha_3- \frac{<\alpha_3,\gamma_1>}{<\gamma_1,\gamma_1>}\gamma_1 - \frac{<\alpha_3,\gamma_2>}{<\gamma_2,\gamma_2>}\gamma_2$

  • 单位化
    $\gamma_1=\frac{\gamma_1}{\|\gamma_1\|},\gamma_2=\frac{\gamma_2}{\|\gamma_2\|},\gamma_3=\frac{\gamma_3}{\|\gamma_3\|}$

  • 
    【注】：内积的含义：
    矢量$\alpha$投影在矢量$\beta$的长度 与 矢量$\beta$的长度 的乘积。结果是个实数。
    例如， <α,α>=∥α∥2 < α , α >= ‖ α ‖ 2 <script type="math/tex" id="MathJax-Element-15"><\alpha,\alpha>=\|\alpha\|^2</script>
    $\frac{<\alpha_2,\gamma_1>}{<\gamma_1,\gamma_1>}\gamma_1$就是$\alpha_2$在$\gamma_1$上的投影（构成的矢量）。
    

    得到：
    $\gamma_1=[-\frac{3}{\sqrt{12}} \quad \frac{1}{\sqrt{12}} \quad \frac{1}{\sqrt{12}} \quad \frac{1}{\sqrt{12}}]^T$
    $\gamma_2=[0 \quad \frac{2}{\sqrt{6}} \quad -\frac{1}{\sqrt{6}} \quad -\frac{1}{\sqrt{6}}]^T$
    $\gamma_3=[-\frac{1}{\sqrt{6}} \quad -\frac{1}{\sqrt{6}} \quad -\frac{2}{\sqrt{6}} \quad 0]^T$
    组成次酉矩阵$U=[\gamma_1 \quad \gamma_2 \quad \gamma_3]$
    那么，上三角矩阵$R$
    

    $$R=U^*A=\begin{bmatrix} \sqrt{12} & -\sqrt{12}/3 & 2\sqrt{12}/3 \\ 0 & 2\sqrt{6}/3 & \sqrt{6}/6 \\ 0 & 0 & \sqrt{6}/6 \end{bmatrix}$$

    1.2.2 Householder reflection

    1.2.3 Givens rotation

    1.3 QR分解的应用

    1.3.1 求 不相容方程 某种含义下的最优解

    不相容方程(incompatible equation)：
    若$n$元一次线性方程组$Ax=b$有解，则称该方程组相容；若无解，则称其不相容。
    有解的充要条件是：$rank(A|b)=rank(A)\leq n$

    结合上面的例子，给出方程右侧的常数项 $b=[1 \quad 0 \quad 2 \quad 1]^T$
    此时，验算有解的充要条件是不满足的。

    也就是说，使4个方程同时成立的解是不存在的，即，使下式
    

    $$Ax-b=\begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \end{bmatrix}$$ 的矢量 $x$（解）是不存在的。
    但是，我们可以寻求某种意义下的一个解，比方说，
    找到这样一个$x$，使得即使右端不全为零，但是它的个 元素的平方和最小。
    物理意义：It minimizes the distance between the two vector $Ax$ and $b$.
    数学语言：
    $min\|e\|^2=min(Ax-b)^*(Ax-b)$
    使上式成立的那个 $x$，记为$x_{opt}$.

    问题转化：
    已知

    $$A_{4\times 3}=Q_{4\times 3}R_{3\times 3}=[Q\quad Q_{\perp}]_{4\times 4}\begin{bmatrix}R\\0\end{bmatrix}_{4\times 3}$$ ，
    其中， $Q是一个次酉矩阵，[Q\quad Q_{\perp}]$组成一个酉矩阵。

    则，
    

    $$Ax-b=[Q\quad Q_{\perp}]\begin{bmatrix}R\\0\end{bmatrix}x-b=[Q\quad Q_{\perp}]\{\begin{bmatrix}R\\0\end{bmatrix}x-[Q\quad Q_{\perp}]^*b\}$$
    因此，
    $$(Ax-b)^*(Ax-b)=(Rx-Q^*b)^*(Rx-Q^*b)+b^*Q_{\perp}Q_{\perp}^*b$$
    那么，使上式最小的 $x$为
    $$x_{opt}=R^{-1}Q^*b$$
    两向量间的最小距离为
    $$(Ax-b)^*(Ax-b)=b^*Q_{\perp}Q_{\perp}^*b$$

    维基百科搬运：https://en.wikipedia.org/wiki/QR_decomposition#cite_note-Trefethen-1