QR分解的三种方法和实现过程

最新推荐文章于 2023-10-10 16:09:30 发布

计算机会说话

最新推荐文章于 2023-10-10 16:09:30 发布

阅读量2.4k

点赞数 3

分类专栏：笔记文章标签：线性代数矩阵算法

本文链接：https://blog.csdn.net/m0_45315213/article/details/129677506

版权

笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

QR分解

在解最小二乘问题 $min ∣∣ A x - b ∣∣$ 时，将其转化成 $A^{T}Ax=A^{T}b$ 之后该问题就是一个求解线性方程组的问题。最简单的求解线性方程组方法是高斯消去，但是有时高斯消去会增大方程的条件数，这时我们可以用正交分解来解决这个问题，即 $\rightarrow QRx=b$ ，其中 $Q$ 是正交矩阵（ $Q^{T}Q=I$ ）， $R$ 是上三角矩阵。

1.Gram Schmidt正交化

希望将一般向量组 $a_{1},a_{2},...,a_{m})$ 转化成一组正交向量 $b_{1},b_{2},...,b_{m})$ 。

step1 令 $b_{1}=a_{1}$ ， $b_{2}=a_{2}-kb_{1}$ ，希望 $b_{1},b_{2}$ 正交，即 $b_{1},b_{2}>=0$
$\rightarrow <b_{1},a_{2}-kb_{1}>=0$
$\rightarrow<b_{1},a_{2}>-k<b_{1},b_{1}>=0$
$\rightarrow k=\frac{<b_{1},a_{2}>}{<b_{1},b_{1}>}$ 。
step2 令 $b_{3}=a_{3}-k_{1}b_{1}-k_{2}b_{2}$ ，则希望 $b_{1},b_{3}>=0，<b_{2},b_{3}>$ 同时成立，即
$b_{1},a_{3}-k_{1}b_{1}-k_{2}b_{2}>=0$
$\rightarrow <b_{1},a_{3}-k_{1}b_{1}>=0$
$\rightarrow k_{1}=\frac{<b_{1},a_{3}>}{<b_{1},b_{1}>}$ ，同理可以推出 $k_{2}=\frac{<b_{2},a_{3}>}{<b_{2},b_{2}>}$ 。

施密特正交化的最终形式为 $b_{m}=a_{m}-k_{1}b_{1}-k_{2}b_{2}-...-k_{m-1}b_{m-1}$ ，其中， $k_{i}=\frac{<b_{i},a_{m}>}{<b_{i},b_{i}>}$ 。令 $A=[a_{1},a_{2},...,a_{n}],B=[b_{1},b_{2},...,b_{n}]$ ，则有 $A=B^{T}R$ ，其中 $B$ 是正交矩阵， $R$ 是上三角矩阵，且
$R=\begin{array}{cccc} 1 & k & k_{1} & k_{1}\\ 0 & 1 & k_{2} & k_{2}\\ 0 & 0 & 1 & k_{3}\\ 0 & 0 & 0 & 1 \end{array}$
综上，格拉姆-施密特正交化结束。

2.Householder变换

Householder变换是一种镜面反射，即，将一个向量 $\vec{a}$ 沿 $\vec{w}$ 的法向量对称到 $\vec{b}$ 的位置，如下图所示，这个图临时找的，有时间要替换一下。

令 $H=I-2uu^{T}$ ，其中 $u^{T}u=1$ ，则 $Hx=x-2uu^{T}x=x-2(u^{T}x)u$ ，其中 $u^{T}x$ 是标量，显然 $2(u^{T}x)u$ 与 $\vec{u}$ 平行且相等，平行在图像中可以看出来，图中虚线和 $w$ 平行，但其实这个相等我没推出来，但是代入一些特殊向量如 $w$ 和 $v,v^{T}w=0$ 两个向量都成立。

在正交分解中，Householder变换主要用来将一般向量 $\vec{x}$ 变换成向量 $\vec{y}=(c,0,0,...,0)$ ，因为该向量是镜面反射，所以只能由 $\vec{x}$ 变成目标向量 $\vec{y}=(|\vec{x}|,0,0,...,0)$ 。而 $\vec{u}$ 一定和 $\vec{x}-\vec{y}$ 平行，同时 $\vec{u}$ 是单位向量，因此 $\vec{u}=\frac{\vec{x}-\vec{y}}{|\vec{x}-\vec{y}|}$ ，再代入 $H=I-2uu^{T}$ 就找到了Householder矩阵 $H$ 。

下面讲怎么用Householder变换做QR分解。

对于矩阵
$A=\begin{array}{cccc} x & x & x & x\\ x & x & x & x\\ x & x & x & x\\ x & x & x & x \end{array}$ 使用Householder变换可以找到 $H$ ，使得
$HA=\begin{array}{cccc} x & x & x & x\\ 0 & x & x & x\\ 0 & x & x & x\\ 0 & x & x & x \end{array}$

再用 $H_{1}'=\begin{array}{cccc} 1 & 0 \\ 0 & H_{1}\\ \end{array}$ 依次对下一列进行Householder变换，就可以得到最终的上三角矩阵。

3.Givens变换（初等旋转变换）

使用初等旋转矩阵 $G=\begin{array}{cccc} cos\theta & -sin\theta \\ sin\theta & cos\theta \\ \end{array}$
作用到 $x=[x_{i},x_{j}]^{T}$ 上，有 $Gx=[\sqrt{x_{i}^{2}+x_{j}^{2}},0]^{T}$ ，从而可以将一个二维向量的某一项变为0，将其用到QR分解中，对于矩阵
$A=\begin{array}{cccc} x & x & x & x\\ x & x & x & x\\ x & x & x & x\\ x & x & x & x \end{array}$
使用Givens变换可以找到矩阵 $A=\begin{array}{cccc} 1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & c & -s\\ 0 & 0 & s & c \end{array}$ 使得 $GA=\begin{array}{cccc} x & x & x & x\\ x & x & x & x\\ x & x & x & x\\ 0 & x & x & x \end{array}$
一次生成一个0，因此依次进行Givens变换也可以得到最终的上三角矩阵 $R$ ，实现QR分解。