QR分解

QR分解法

QR分解法，将原矩阵$A_{m\times n}$分解成一个正交矩阵$Q_{m\times n}$($Q^{T}Q=I$)和一个上三角矩阵$R_{n\times n}$(对角线下面的元素全为0)的乘积。QR分解主要有三种方法：Gram-Schmid正交化法、Household变换法、Givens变换法。

1 Gram-Schmid正交化法

这种方法主要利用了斯密特正交化方法，该方法还可以通过单位正交化来构建向量空间的标准正交基。

1.1 单位正交化

已知在$n$维空间中的任意位置都可以由该空间的$n$个单位正交向量表示。这$n$个单位正交向量构成了该$n$维空间的基，即单位正交基（标准正交基）。

标准正交基的特点： 单位正交基是由单位向量构造成，,即每个向量的模长都为单位长度1，并且不同向量之间两两正交，即内积为0。

单位正交化的步骤
已知${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n$是$n$个线性无关向量，如何将这$n$个向量构成标准正交基（即单位正交化）？

1. 施密特正交化
   则${\beta }_1,{\beta }_2,\dots ,{\beta }_n$两两正交，并且$[{\beta }_1,{\beta }_2,\dots ,{\beta }_n]$与$[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n]$等价。
2. 单位化
   
   则可得与$[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n]$等价的单位正交基$[{\gamma }_1,{\gamma }_2,\dots ,{\gamma }_n]$。

1.2 QR分解求特征值过程

栗子
求矩阵$A$的$QR$分解
$$A=\left[\begin{array}{ccc}1& 2& 2\\ 1& 0& 2\\ 0& 1& 1\end{array}\right]$$
解：

1. 已知$A$的列向量为：
   
   $A$的三个列向量无线性关系，因此$A$为满秩矩阵，可以进行$QR$分解。
2. 使用斯密特正交化方法将$x_1,x_2,x_3$正交化：
   
3. 单位化：
   
4. 整理：
   
5. 求的$Q$和$R$：
   $$A=QR$$

2 利用Householder变换进行QR分解

2.1 Householder变换

Householder变换又称为反射变换或镜像变换。在$R^3$中，给定一个向量$\alpha$，令$\beta$表示$\alpha$关于平面$\pi$(以$\omega$为法向量)的反射变换所得像

记

则

该变换将向量$\alpha$变成了以$\omega$为法向量的平面的对称向量。

定义 设$\omega \in C^n$是一个单位向量，令
$$H(\omega )=I-2\omega {\omega }^H$$称$H$为一个Householder矩阵。

Householder矩阵的性质
设$H$是一个Householder矩阵，则

• $H$是Hermite矩阵，$H^H=H$；
• $H$是酉矩阵，$H^{H}H=I$；
• $H$是对合矩阵，$H^2=I$;
• $H$是自逆矩阵，$H^{-1}=H$；
• $diag(I,H)$也是一个Householder矩阵；
• $det(H)=-1$。

定理 设$u\in C^n$是一个单位向量，则对于任意$x\in C^n$，存在Householder矩阵$H$，使得$Hx=au$，其中$|a|=||x|{|}_2$，$a{x}^{H}u$为实数。

推论1 对于任意的$x\in C^n$，存在Householder矩阵$H$，使得$Hx=a{e}_1$，其中$|a|=||x|{|}_2$，$a{x}^H{e}_1$为实数。

推论2 对于任意的$x\in C^n$，存在Householder矩阵$H=I-2u{u}^T$,($u\in R^n,u^{T}u=1$)，使得$Hx=a{e}_1$，其中$|a|=||x|{|}_2$

上述结论表明，可以利用Householder变换将任意向量$x\in R^n$化为与第一自然基向量$e_1$平行的向量（共线）。

2.2 利用Householder矩阵求矩阵的QR分解的步骤

1. 将矩阵$A$按列分块$A=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n)$，取
   
   其中
   
   则
   
   

2. 将矩阵$B_1\in C^{(n-1)\times (n-1)}$按列分块，$B_1=({\beta }_1,{\beta }_2,\dots ,{\beta }_n)$取
   
   则
   
   其中
   
   依次进行下去，得到第$n-1$个$n$阶的Householder矩阵$H_{n-1}$，使得
   

3. 因为$H_i$为自逆矩阵，令$Q=H_1{H}_2\dots H_{n-1}$
   则$A=QR$

栗子
已知矩阵

利用Householder变换求$A$的$QR$分解。
解
因为

令

则
计算

记${\beta }_2$等于

则

令

记

则

取

则$A=QR$

3 利用Givens变换进行QR分解

3.1 Givens变换

在平面坐标$R^2$中向量的旋转变换关系可由旋转角$\theta$表示。

其中$T$是正交矩阵，称为平面旋转矩阵。将其推广到一般的$n$维酉空间中，可以得到初等旋转变换，称为Givens变换。

定义 设$c,s\in C^n$，$|c{|}^2+|s{|}^2=1$，则记$n$阶矩阵

称$T_{kl}$为Givens矩阵或初等旋转矩阵。
由$T_{kl}$所确定的线性变换称为Givens变换或初等旋转变换。Givens矩阵为酉矩阵，且$det{T}_{kl}=1$。

定理 由于任意向量$x\in C^n$，存在Givens变换$T_{kl}$，使得$T_{kl}x$的第$1$个分量为0，第$k$个分量为非负实数，其余分量不变。
推论给定一个向量$x\in C^n$，则存在一组Givens矩阵$T_{12},T_{13},\dots ,T_{1n}$，使得$T_{12}{T}_{13}\dots T_{1n}x=||x|{|}_2{e}_1$，因此通过Givens变换将向量$x\in C^n$与第一自然基向量$e_1$共线。

3.2 利用Givens矩阵求矩阵的QR分解的步骤

1. 先将矩阵$A$按列分块，$A=({\alpha }_1,{\alpha }_2.\dots ,{\alpha }_n),A\in C^{n\times n}$
   对于${\alpha }_1$，存在一组Givens矩阵$T_{12},T_{13},\dots ,T_{1n}$，使得
   
   于是
   
2. 将矩阵
   
   按列分块
   
   又存在一组Givens矩阵$T_{23},T_{24},\dots,T_{2n}
   使得
   
   因此
   
   依次进行 下去，得到
   
3. 令$Q=T_{12}^H\dots T_{1n}^H{T}_{23}^H\dots T_{2n}^H{T}_{34}^H\dots T_{n-1,n}^H$
   则$A=QR$

注意： 利用Givens矩阵进行分解，需要作$\frac{n(n-1)}{2}$个初等旋转矩阵的连乘积，当$n$较大时，计算量较大，因此常用镜像变换Housholder变换来进行QR分解。

代码

#include<Eigen>
#include<iostream>

int main(int argc, char** argv)
{
	Eigen::Matrix3d mat;
	mat << 0, 3, 1, 0, 4, -2, 2, 1, 1;
	std::cout << "原矩阵为：" << std::endl;
	std::cout << mat<<std::endl;
	Eigen::HouseholderQR<Eigen::Matrix3d>qr;
	qr.compute(mat);
	Eigen::Matrix3d Q, R;
	Q = qr.householderQ();
	R = qr.matrixQR().triangularView<Eigen::Upper>(); //上三角矩阵
	std::cout << "结果Q:" << std::endl;
	std::cout << Q << std::endl;
	std::cout << "结果R:" << std::endl;
	std::cout << R << std::endl;
	system("pause");
	return 0;
}

结果

原矩阵为：
 0  3  1
 0  4 -2
 2  1  1
结果Q:
   0 -0.6 -0.8
   0 -0.8  0.6
  -1    0    0
结果R:
-2 -1 -1
 0 -5  1
 0  0 -2