householder进行矩阵QR分解

1. HouseHolder 理论分析

HouseHolder变换的目的是为了将向量$x_1$通过镜面反射的方式，在保持大小不变的情况下，变成在x轴上的向量$x_2$具体如下图所示：

HouseHolder变换和Givens变换的目的是一致的，都是通过反射，旋转的方式，将任意向量$x_1$变到x轴上，形成向量$x_2$

• 由图可得向量之间关系如下
  $$x_1=x_2+2w\text{\hspace{1em}(1)}$$
• 做一个辅助单位向量$w_0$，使得$w_0$平行于w,$|w_0|=1$
  
• $w$的长度可以计算如下：
  $$w_0^T{x}_1=|w_0||x_1|\cos {\theta }_2\text{\hspace{1em}(2)}$$
  $$|w|=|x_1|\cos {\theta }_2\text{\hspace{1em}(3)}$$
• 方程1,3结合可得如下：
  $$x_1=x_2+2\frac{w_0^T{x}_1}{|w_0|}{w}_0\text{\hspace{1em}(4)}$$
• 因为我们定义$|w_0|=1$,并且$w_0^T{x}_1$为一个数，所以在矩阵中可以任意调位置，即
  $$x_1=x_2+2w_0{w}_0^T{x}_1\text{\hspace{1em}(5)}$$
• 整理可得如下
  $$x_2=x_1-2w_0{w}_0^T{x}_1=(I-2w_0{w}_0^T)x_1\text{\hspace{1em}(6)}$$
• 变成常规大家熟悉的公式如下,u为单位向量
  $$u=\left[\begin{array}{c}1\\ \\ 0\\ \\ 0\end{array}\right]\text{\hspace{1em}(7)}$$
  $$y=(I-2u{u}^T)x\text{\hspace{1em}(8)}$$

2. Householder 案例

2.1 Householder进行QR分解

$$A=QR\text{\hspace{1em}(9)}$$
$$A=\left[\begin{array}{cccc}1& 2& 0& 1\\ & & & \\ 1& 0& 3& 1\\ & & & \\ 1& 0& 3& 2\\ & & & \\ 1& 2& 0& 2\end{array}\right]\text{\hspace{1em}(10)}$$
从矩阵A中取出第一列 $\overrightarrow{a_1}=[1,1,1,1{]}^T$ ，$\Vert {\alpha }_1{\Vert }_2=\sqrt{1^2+1^2+1^2+1^2}=2$
$$\overrightarrow{u_1}=\frac{\overrightarrow{a_1}-{\alpha }_1\overrightarrow{e_1}}{\Vert \overrightarrow{a_1}-{\alpha }_1\overrightarrow{e_1}\Vert }\text{\hspace{1em}(11)}$$
$$\overrightarrow{e_1}=[1,0,0,0{]}^T\text{\hspace{1em}(12)}$$

• 带入可得：
  $$\overrightarrow{u_1}=\frac{1}{2}[-1,1,1,1{]}^T\text{\hspace{1em}(13)}$$
• 根据householder 来定义矩阵$H_1$
  $$\overrightarrow{H_1}=\vec{I}-2\overrightarrow{u_1}(\overrightarrow{u_1}{)}^T\text{\hspace{1em}(14)}$$
• 带入可得：
  $$\overrightarrow{H_1}=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ & & & \\ 1& 1& -1& -1\\ & & & \\ 1& -1& 1& -1\\ & & & \\ 1& -1& -1& 1\end{array}\right]\text{\hspace{1em}(15)}$$
• 第一次householder变换 ，目的是保证第一列只有存在第一个元素，其他位置为0：
  $$\overrightarrow{H_1}A=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ & & & \\ 1& 1& -1& -1\\ & & & \\ 1& -1& 1& -1\\ & & & \\ 1& -1& -1& 1\end{array}\right]\left[\begin{array}{cccc}1& 2& 0& 1\\ & & & \\ 1& 0& 3& 1\\ & & & \\ 1& 0& 3& 2\\ & & & \\ 1& 2& 0& 2\end{array}\right]\text{\hspace{1em}(16)}$$
  $$\overrightarrow{H_1}A=\left[\begin{array}{cccc}2& 2& 3& 3\\ & & & \\ 0& 0& 0& -1\\ & & & \\ 0& 0& 0& 0\\ & & & \\ 0& 2& -3& 0\end{array}\right]\text{\hspace{1em}(17)}$$
• 我们重新第一新的矩阵$A_2$
  $$\overrightarrow{A_2}=\left[\begin{array}{ccc}0& 0& -1\\ & & \\ 0& 0& 0\\ & & \\ 2& -3& 0\end{array}\right]\text{\hspace{1em}(18)}$$
  从矩阵$A_2$中取出第一列 $\overrightarrow{a_2}=[0,0,2{]}^T$ ，$\Vert {\alpha }_2{\Vert }_2=\sqrt{0^2+0^2+2^2}=2$
  $$\overrightarrow{u_2}=\frac{\overrightarrow{a_2}-{\alpha }_2\overrightarrow{e_1}}{\Vert \overrightarrow{a_2}-{\alpha }_2\overrightarrow{e_1}\Vert }\text{\hspace{1em}(19)}$$
  $$\overrightarrow{e_1}={\left[\begin{array}{ccc}1& 0& 0\end{array}\right]}^T\text{\hspace{1em}(20)}$$
• 带入相关参数可得:
  $$\overrightarrow{u_2}=\frac{\sqrt{2}}{2}{\left[\begin{array}{ccc}-1& 0& 1\end{array}\right]}^T\text{\hspace{1em}(21)}$$
  $$\widetilde{H_2}=\vec{I}-2\overrightarrow{u_2}(\overrightarrow{u_2}{)}^T\text{\hspace{1em}(22)}$$
• 代入可得如下：
  $$\widetilde{H_2}=\left[\begin{array}{ccc}0& 0& 1\\ & & \\ 0& 1& 0\\ & & \\ 1& 0& 0\end{array}\right]\text{\hspace{1em}(23)}$$
• 同理可得$\widetilde{H_2}\overrightarrow{A_2}$
  $$\widetilde{H_2}\overrightarrow{A_2}=\left[\begin{array}{ccc}2& -3& 0\\ & & \\ 0& 0& 0\\ & & \\ 0& 0& -1\end{array}\right]\text{\hspace{1em}(24)}$$
  $$\overrightarrow{H_2}=\left[\begin{array}{cc}1& \\ & \\ & \widetilde{H_2}\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ & & & \\ 0& 0& 0& 1\\ & & & \\ 0& 0& 1& 0\\ & & & \\ 0& 1& 0& 0\end{array}\right]\text{\hspace{1em}(25)}$$
• 依公式，我们定义R如下：
  $$\vec{R}=\overrightarrow{H_2}(\overrightarrow{H_1}\vec{A})=\left[\begin{array}{cccc}2& 2& 3& 3\\ & & & \\ 0& 2& -3& 0\\ & & & \\ 0& 0& 0& 0\\ & & & \\ 0& 0& 0& -1\end{array}\right]\text{\hspace{1em}(26)}$$
• 依公式，我们定义Q如下：
  $$\vec{Q}=\overrightarrow{H_1}\overrightarrow{H_2}=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ & & & \\ 1& -1& -1& 1\\ & & & \\ 1& -1& 1& -1\\ & & & \\ 1& 1& -1& -1\end{array}\right]\text{\hspace{1em}(27)}$$

3. 结论：

• householder的意义是通过househoulder变换，可以将矩阵A 变成一个正交矩阵Q和上三角矩阵R
  $$A=QR\text{\hspace{1em}(28)}$$
  $$A=\left[\begin{array}{cccc}1& 2& 0& 1\\ & & & \\ 1& 0& 3& 1\\ & & & \\ 1& 0& 3& 2\\ & & & \\ 1& 2& 0& 2\end{array}\right]\text{\hspace{1em}(29)}$$
  $$\vec{Q}=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ & & & \\ 1& -1& -1& 1\\ & & & \\ 1& -1& 1& -1\\ & & & \\ 1& 1& -1& -1\end{array}\right]\text{\hspace{1em}(30)}$$
  $$\vec{R}=\left[\begin{array}{cccc}2& 2& 3& 3\\ & & & \\ 0& 2& -3& 0\\ & & & \\ 0& 0& 0& 0\\ & & & \\ 0& 0& 0& -1\end{array}\right]\text{\hspace{1em}(31)}$$