Householder变换

Householder变换 https://www.cnblogs.com/reasno/p/9606224.html
Householder transformation https://en.wikipedia.org/wiki/Householder_transformation
[矩阵的QR分解系列三] 豪斯霍尔德(Householder)变换 https://blog.csdn.net/honyniu/article/details/110351391
北化 矩阵论

Householder矩阵

Householder矩阵：$H=I-2w{w}^H$，$w$为单位列向量
Householder矩阵性质：厄米特矩阵、正交矩阵、对合矩阵、反射矩阵
注：如果一个对合矩阵也是厄米特矩阵，那么它也是正交矩阵

Householder变换

Householder变换(初等反射阵或镜象变换阵)：将向量$x$通过Householder矩阵$H$变换为$Hx$
$x$与$Hx$关于一个超平面对称，该超平面与$w$垂直。
$Hx$是$x$关于与$w$垂直的超平面的镜面反射。
$Hx=x-2w{w}^{H}x=x-2<x,w>w$

$x$减去$x$在$w$上的投影分量，便是位于超平面内的$u$
$u$减去$x$在$w$上的投影分量，便是$x$的反射向量$Hx$

$x$和其反射向量$Hx$可以分解为$u$与$w$
$x=u+\alpha w$
$Hx=u-\alpha w$
$\alpha$为一个常数

$Hx=x-2w{w}^{H}x$ 可写作：$Hx=y$

定理1

定理：H为householder矩阵，则$\left[\begin{array}{cc}{I}_r& 0\\ 0& H\end{array}\right]$也是为householder矩阵

证明：
$\left[\begin{array}{cc}{I}_r& 0\\ 0& H\end{array}\right]=\left[\begin{array}{cc}{I}_r& 0\\ 0& I_n-2w{w}^H\end{array}\right]=I_{n+r}-\left[\begin{array}{cc}0& 0\\ 0& 2w{w}^H\end{array}\right]=I_{n+r}-2\left[\begin{array}{c}0\\ u\end{array}\right]\left[\begin{array}{cc}{0}^H& u^H\end{array}\right]=I_{n+r}-2u_1{u}_1^H$

定理2

$H=I-2w{w}^H$
定理：必存在$Hx=\pm ||x||z,||z||=1$

证明：
$x=0$，任取$w$，则$Hx=\pm ||x||z$，定理在这种情况下成立
$x=\pm ||x||z$，取与$x$正交的$w$，则$Hx=x=\pm ||x||z$，定理在这种情况下成立
$x\ne \pm ||x||z$，取$w=\frac{x-\alpha z}{||x-\alpha z||}$，则$Hx=x-2\frac{(x-\alpha z)(x-\alpha z{)}^H}{||x-\alpha z|{|}^2}x=\alpha z=\pm ||x||z$，定理在这种情况下成立

推论：$x$与$e_1$不共线，取$w=\frac{x-\alpha e_1}{||x-\alpha e_1||}$，则$Hx=\pm ||x||e_1$

Householder矩阵的特征对

$H$为正交矩阵，则其有$n$个特征对
如果$x$与$w$垂直，则$Hx=x$
如果$x=w$垂直，则$Hw=-w$
$n$维空间存在$n-1$个向量与$w$垂直
因此可以看出$H$的n个特征对：$n-1$个$(1,x_i)$和1个$(-1,w)$
因此$H$的行列式为-1

利用Householder变换实现正交分解

矩阵$A=[a_1,...,a_n]$，实现$A=QR$
利用$n-1$个Householder矩阵$H_i$对$A$进行变换，使得$H_{n-1}...H_2{H}_{1}A=R$，$Q=H_1{H}_2...H_{n-1}$

如果$a_1\ne 0$，有$H_1{a}_1={\alpha }_1{e}_1$
$H_1{A}_n=\left[\begin{array}{cc}{\alpha }_1& \ast \\ 0& B_{n-1}\end{array}\right]$
如果$a_1=0$，则不需要进行householder变换，也可以说$H_1=I$

$B_{n-1}=[b_1,...,b_{n-1}]$
如果$b_1\ne 0$，有$\widetilde{H_2}{b}_1={\alpha }_2\widetilde{e_1}$
$\widetilde{H_2}{B}_{n-1}=\left[\begin{array}{cc}{\alpha }_2& \ast \\ 0& C_{n-2}\end{array}\right]$
如果$b_1=0$，则$\widetilde{H_2}=I$
$H_2=\left[\begin{array}{cc}1& 0^T\\ 0& \widetilde{H_2}\end{array}\right]$

也就是说对于n维矩阵，如果其列向量都不为0，用$n-1$个Householder矩阵就能实现正交分解

Householder变换的另一个作用便是实现$A$的正交化，将$A$变为$Q$

例题

例1：通过Householder变换，使得$x=[-3,0,0,4{]}^T$与$e_1$同向

解1：
$\alpha =||x||=5$
$w=\frac{x-5e_1}{||x-5e_1||}=\frac{1}{\sqrt{80}}[-8,0,0,4{]}^T$
$Hx=x-2w{w}^{T}x=5e_1$

解2：
$\alpha =||x||=-5$
$w=\frac{x+5e_1}{||x+5e_1||}=\frac{1}{\sqrt{20}}[2,0,0,4{]}^T$
$Hx=x-2w{w}^{T}x=-5e_1$

---

例2：通过Householder变换，使得$A=\left[\begin{array}{ccc}0& 3& 1\\ 0& 4& -2\\ 2& 1& 2\end{array}\right]$实现正交分解

解：
$a_1=\left[\begin{array}{c}0\\ 0\\ 2\end{array}\right]$，${\alpha }_1=||a_1||=2$，$w=\frac{a_1-2e_1}{||a_1-2e_1||}=\frac{1}{\sqrt{2}}\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right]$
$H_{1}A=\left[\begin{array}{ccc}2& 1& 2\\ 0& 4& -2\\ 0& 3& 1\end{array}\right]$

$b_1=\left[\begin{array}{c}4\\ 3\end{array}\right]$，${\alpha }_2=||b_1||=5$，$w=\frac{b_1-5{\tilde{e}}_1}{||b_1-5{\tilde{e}}_1||}=\frac{1}{\sqrt{10}}\left[\begin{array}{c}-1\\ 3\end{array}\right]$
$H_2{H}_{1}A=\left[\begin{array}{ccc}2& 1& 2\\ 0& 5& -1\\ 0& 0& -2\end{array}\right]$

$A=Q\left[\begin{array}{ccc}2& 1& 2\\ 0& 5& -1\\ 0& 0& -2\end{array}\right],Q=H_1{H}_2$

补充知识—正交补

https://zh.wikipedia.org/wiki/正交补

$W$为内积空间$V$的子空间，则$W$的正交补$W^{\perp }$定义为：
W ⊥ = { x ∈ V : ∀ y ∈ W , < x , y > = 0 } W^{\perp} = \{ x \in V: \forall y \in W, <x,y>=0 \} W⊥={x∈V:∀y∈W,<x,y>=0}
注：$W^{\perp }$也是$V$的子空间

$W^{\perp \perp }=\bar{W}$
疑问：线性空间$W$与线性空间的闭包$\bar{W}$有什么区别

$A$为一个矩阵，$RowA,ColA,NulA$分别为其行空间，列空间，零空间
$(RowA{)}^{\perp }=NulA$
$(ColA{)}^{\perp }=Nul{A}^T$
注：
$A$的右零空间是由$Ax=0$的解张成的空间
$A$的左零空间是由$A^{T}x=0$的解张成的空间

---

$W$为巴拿赫空间$V$的子空间，则$W$的正交补$W^{\perp }$定义为：
W ⊥ = { x ∈ V ∗ : ∀ y ∈ W , x ( y ) = 0 } W^{\perp} = \{ x \in V^*: \forall y \in W, x(y)=0 \} W⊥={x∈V∗:∀y∈W,x(y)=0}
注：$W^{\perp }$是$V$的对偶空间的子空间
对偶空间是行向量与列向量关系的抽象化
疑问：$V^{\ast \ast }$与$V$的关系？

---

设 $V$为 在域 $F$上的向量空间，定义其对偶空间 $V^{\ast }$ 为由 $V\to F$ 的所有线性函数的集合

$V$的元素称为反变或逆变contravariant向量；$V^{\ast }$的元素称为共变或协变covariant向量，也称余向量或同向量co-vectors，一形或线性型one-form