矩阵分析：QR分解

Householder变换

Householder变换是一种简洁而有意思的线性变换，也可称为镜面反射变换，Householder变换矩阵为$H=I-w{w}^T$
考虑向量$\alpha$和一个单位向量$w:w^{T}w=1$
$\alpha$在$w$ 方向上的分量是
$${\alpha }_{w_{//}}=\left(w^T\alpha \right)w=w{w}^T\alpha$$
则$\alpha$关于以$w$为法向量的平面的镜面反射为
$$\alpha -2{\alpha }_{w_{//}}=\alpha -2w{w}^T\alpha =\left(I-2w{w}^T\right)\alpha =H\alpha$$
考虑以下两个特殊向量
$$\begin{array}{rl}& Hw=\left(I-2w{w}^T\right)w=w-2w\left(w^{T}w\right)=-w\\ & v:w^{T}v=0,Hv=(I-2w{w}^T)v=v-2w\left(w^{T}v\right)=v\end{array}$$
对于向量$w$，Householder矩阵的作用是将其反向，对于垂直于向量$w$的向量$v$ ，Householder矩阵对其不产生改变。那么对于一般的向量$\alpha$，经过Householder矩阵作用后，平行于$w$的分量反向，垂直于$w$的分量保持不变。其整体作用是将向量关于法向量为$w$的平面做镜面对称。

于是也可以得到，Householder变换不改变向量模长，是一种正交变换。两次镜面变换后将反射为自身，同时也是一种对合变换。即
$$H{H}^T=I,H^2=I$$
下面从代数层面考虑，上式表明 -1,1为Householder矩阵的特征值。对于向量$w$,可以找到n-1个向量构成n维欧式空间的一组标准正交基。记 $Q=\left[w,v_1,v_2,\dots ,v_{n-1}\right]$ ，有：
$$\begin{array}{rl}I& =Q{Q}^T=w{w}^T+\sum _{i=1}^{n-1}{v}_i{v}_i^T\\ H& =I-2w{w}^T=-w{w}^T+\sum _{i=1}^{n-1}{v}_i{v}_i^T=Q\left(\begin{array}{cccc}-1& & & \\ & 1& & \\ & & \ddots & \\ & & & 1\end{array}\right)Q^T\end{array}$$
上式给出了Householder的对角化过程，可以看出其更本质的特征。通过秩为1的矩阵$w{w}^T$改变了单位矩阵的一个特征值，进而改变其一个特征向量上的缩放变换。

Householder变换用于QR分解

通过Householder变换可以将向量$x$变换为任意相同模长的向量$y$：
$$Hx=y$$
其中$H=I-w^{T}w$，由Householder变换的本质是法向量为$w$的平面的镜像对称可知
$$\begin{gathered} x-y=\Vert x-y\Vert w \\ ⟹w=\frac{x-y}{\Vert x-y\Vert } \end{gathered}$$

而利用Householder变换的上述性质可以进行QR分解：
对于任意非奇异矩阵$A=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right]$，首先利用Householder变换将$A$矩阵的第一列除第一个元素外全部变成0
$$H_1{a}_1=\beta e_1$$
$e_i$是第i个元素为1的单位向量。
$$H_{1}A=\left[\begin{array}{cc}{H}_1{a}_1& H_1{A}^{\prime }\end{array}\right]=\left[\begin{array}{cc}\ast & \ast \\ 0& {\hat{A}}_1\end{array}\right]$$
从而我们可以迭代地对维度减一的矩阵${\hat{A}}_1$进行上述求解，得到${\hat{H}}_2$ ，则令$H_2=\left(\begin{array}{cc}1& 0\\ 0& {\hat{H}}_2\end{array}\right)$ ，则：
$${\hat{H}}_2{\hat{A}}_1=\left[\begin{array}{cc}\ast & \ast \\ 0& {\hat{A}}_2\end{array}\right]$$
以此类推接着对${\hat{A}}_2$ 做Householder变换将其第一列除第一元素外变为0。
最终迭代可以得到
$$H_{n-1}\cdots H_2{H}_{1}A=R$$
则
$$Q^T=H_{n-1}\cdots H_2{H}_1$$

Givens变换

参考链接