学习QR分解

QR分解是将矩阵分解成一个正规正交矩阵Q与上三角形矩阵R，所以称为QR分解法。该算法对对称矩阵和非对称矩阵都适用。

定义：
一个矩阵 $A\in {\mathbb{R}}^{m\times n},m\ge n$ 可以被分解成 $A=QR$, 其中

• $Q\in {\mathbb{R}}^{m\times m}$ 是正交矩阵
• $R\equiv \left[\begin{array}{l}\hat{R}\\ 0\end{array}\right]\in {\mathbb{R}}^{m\times n}$
• $\hat{R}\in {\mathbb{R}}^{n\times n}$ 是上三角矩阵

下面给出一个直观的QR分解的例子


从QR分解角度看线性最小二乘

对于一个over-determined线性最小二乘问题 $Ax\simeq b$，，其目标函数是
$\begin{array}{rl}\varphi (x)=\Vert r(x){\Vert }_2^2& =\Vert b-Ax{\Vert }_2^2={\Vert b-Q\left[\begin{array}{l}\hat{R}\\ 0\end{array}\right]x\Vert }_2^2\\ & ={\Vert Q^T\left(b-Q\left[\begin{array}{c}\hat{R}\\ 0\end{array}\right]x\right)\Vert }_2^2\\ & ={\Vert Q^{T}b-\left[\begin{array}{c}\hat{R}\\ 0\end{array}\right]x\Vert }_2^2\end{array}$

这里 $Q\in {\mathbb{R}}^{m\times m},Qb\in {\mathbb{R}}^{m\times 1},\left[\begin{array}{c}\hat{R}\\ 0\end{array}\right]\in {\mathbb{R}}^{m\times n},\left[\begin{array}{c}\hat{R}\\ 0\end{array}\right]x\in {\mathbb{R}}^{m\times 1}$

如果把 $Q^{T}b$ 拆分成上下两部分，形式 $\left[\begin{array}{c}\hat{R}\\ 0\end{array}\right]$类似，
$Q^{T}b=\left[\begin{array}{l}{c}_1\\ c_2\end{array}\right]$, where $c_1\in {\mathbb{R}}^n,c_2\in {\mathbb{R}}^{m-n}$。那么目标函数可以写成下面的形式：

$\Vert r(x){\Vert }_2^2={\Vert c_1-\hat{R}x\Vert }_2^2+{\Vert c_2\Vert }_2^2$

可以看到，我们只能最小化前一部分 ${\Vert c_1-\hat{R}x\Vert }_2^2$ 到0，即$\hat{R}x=c_1$， $\Vert r(x){\Vert }_2^2$ 的最小值为 ${\Vert c_2\Vert }_2^2$ 。这样处理之后就避免了求正规方程组中的 ${\left(A^{T}A\right)}^{-1}$ ，避免了条件数变成 $\mathrm{cond}\left(A^{T}A\right)=\mathrm{cond}(A{)}^2$，所以QR分解法更加数值稳定。