矩阵理论| 特殊矩阵：Householder矩阵 / 镜射矩阵

Householder矩阵 / 镜射矩阵

由来：镜射变换

给定镜射超平面，其法向量为$\mathbf{v}$（$\Vert \mathbf{v}\Vert =1$）
对于任意向量$\mathbf{x}$，其镜射变换后的向量为$\mathbf{x}-2\mathbf{v}({\mathbf{v}}^T\mathbf{x})=(I-2\mathbf{v}{\mathbf{v}}^T)\mathbf{x}$
（因为${\mathbf{v}}^T\mathbf{x}$是向量$\mathbf{x}$在法向量$\mathbf{v}$上的投影长度，如图）

由此可得Householder矩阵 / 镜射矩阵 $\mathbf{H}=\mathbf{I}-2\mathbf{v}{\mathbf{v}}^T$，其中$\Vert \mathbf{v}\Vert =1$

也可以从另一个角度来看：镜射变换与正交投影是“互补”的变换
矩阵$\mathbf{P}$可将向量 $\mathbf{x}$ 正交投影至（镜射超平面的）法向量 $\mathbf{v}$
因此，向量 $\mathbf{x}$ 到镜射超平面 的正交投影点就是$\mathbf{x}-P\mathbf{x}=(I-P)\mathbf{x}$
进而向量 $\mathbf{x}$ 关于镜射超平面的 镜射点是$(I-P)\mathbf{x}-P\mathbf{x}=(I-2P)\mathbf{x}=(I-2\mathbf{v}{\mathbf{v}}^T)\mathbf{x}$
也可得到镜射矩阵为 $\mathbf{H}=\mathbf{I}-2\mathbf{v}{\mathbf{v}}^T$

Householder矩阵的特征向量

Householder矩阵$\mathbf{H}=\mathbf{I}-2\mathbf{v}{\mathbf{v}}^T$，相当于初等矩阵中$\mathbf{u}=-2\mathbf{v}$

1. 根据初等矩阵的特征向量知识，在 s p a n { v } ⊥ span\{\bold v\}^{\bot } span{v}⊥（即镜射超平面）中必有$n-1$个无关特征向量 { x 1 , x 2 , . . . , x n − 1 } \{\bold x_1,\bold x_2,...,\bold x_{n-1}\} {x1​,x2​,...,xn−1​}（超平面的一组基），特征值全为1
2. 余下的特征向量有两种寻找方法
   ①根据初等矩阵的特征向量知识，由于 u ∈ s p a n { v } \bold u\in span\{\bold v\} u∈span{v}，$\mathbf{u}=-2\mathbf{v}$也是一个特征向量，特征值$1-2{\mathbf{v}}^T\mathbf{v}=-1$
   ②也可直接由镜射的几何意义知，镜射超平面的法向量$\mathbf{v}$是特征向量，特征值$-1$

根据特征值 { 1 , 1 , 1 , . . . , 1 , − 1 } \{1,1,1,...,1,-1\} {1,1,1,...,1,−1}可知，行列式$det(\mathbf{H})=-1$，因而Householder矩阵是可逆的

Householder矩阵的性质

• Householder矩阵$\mathbf{H}=\mathbf{I}-2\mathbf{v}{\mathbf{v}}^T$是对称矩阵+正交矩阵：$$H=H^T=H^{-1}$$

①从形式上，显然是对称矩阵
②可以验证，矩阵为正交阵：$H^{T}H=(I-2\mathbf{v}{\mathbf{v}}^T)(I-2\mathbf{v}{\mathbf{v}}^T)=I-4\mathbf{v}{\mathbf{v}}^T+4\mathbf{v}{\mathbf{v}}^T\mathbf{v}{\mathbf{v}}^T=I$

• 由上，Householder矩阵满足$H^2=H{H}^{-1}=I$，称为对合 （involutory） 矩阵
  这个概念类比对合 函数理解：“一个函数的反函数是他自身”，即$f(f(x))=x$
  这就是说，镜射后再次镜射，相当于没变
• Householder矩阵最有实用价值的性质在于，总存在一个Householder矩阵，将任意单位长度向量$\mathbf{x}$镜射至标准单位向量：$H\mathbf{x}={\mathbf{e}}_1=(1,0,\dots ,0{)}^T$
  理解：这相当于寻找合适的镜射超平面，将向量$\mathbf{x}$镜射至$\mathbf{e}$
• 更一般的，若两个向量满足$\Vert \mathbf{x}{\Vert }_2=\Vert \mathbf{y}{\Vert }_2$，且${\mathbf{x}}^H\mathbf{y}={\mathbf{y}}^H\mathbf{x}$，必然存在Householder矩阵使得$\mathbf{Hx}=\mathbf{y}$
• 注意，$H^T=H^{-1}$表明Householder矩阵也是一个酉矩阵，但几何意义是镜射
  这也表明了：酉矩阵的几何意义不仅仅包括旋转，还包括镜射

Householder矩阵的应用：矩阵的三对角化

基于上面给出的最后一个性质， Householder 变换可以将对称矩阵 $\mathbf{A}$ 三对角化 （tridiagonalization），得到形如$\left[\begin{array}{ccccc}\ast & \ast & 0& 0& 0\\ \ast & \ast & \ast & 0& 0\\ 0& \ast & \ast & \ast & 0\\ 0& 0& \ast & \ast & \ast \\ 0& 0& 0& \ast & \ast \end{array}\right]$的矩阵，从而尽可能产生零元

基本思路：
从第一列开始，依次将每一列变为三对角阵的形式，具体方法是设计一个可逆矩阵$\mathbf{P}$，使得相似变换 $P^{-1}AP$满足需求（额外限制$P$为正交矩阵，从而当 $A$ 是对称矩阵时，$P^{-1}AP$ 也是对称矩阵：$(P^{-1}AP{)}^T=P^T{A}^{T}P=P^{-1}AP$）

以$A=\left[\begin{array}{rcrr}4& 1& -2& 2\\ 1& 2& 0& 1\\ -2& 0& 3& -2\\ 2& 1& -2& -1\end{array}\right]$为例，每一步的具体做法如下：

1. 对$A$和$P$矩阵分块，其中正交矩阵$P_1=\left[\begin{array}{llll}1& 0& 0& 0\\ 0& & & \\ 0& & H_1& \\ 0& & & \end{array}\right]$，$H_1$为3阶Householder矩阵，则分块矩阵乘法：$$P_{1}A{P}_1=\left[\begin{array}{cc}1& 0\\ 0& H_1\end{array}\right]\left[\begin{array}{cc}{a}_{11}& {\mathbf{a}}^T\\ \mathbf{a}& \tilde{A}\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& H_1\end{array}\right]=\left[\begin{array}{cc}{a}_{11}& {\mathbf{a}}^T{H}_1\\ H_1\mathbf{a}& H_1\tilde{A}{H}_1\end{array}\right]$$其中$\mathbf{a}=\left[\begin{array}{c}{a}_{21}\\ a_{31}\\ a_{41}\end{array}\right]=\left[\begin{array}{c}1\\ -2\\ 2\end{array}\right]$，而$\bar{A}$为$A$的余下部分
   根据上述性质，一定能找到$H_1$，使得$H_1\mathbf{a}$ 平行于${\mathbf{e}}_1=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$
   这里省略中间步骤，直接给出$H_1=\left[\begin{array}{rcr}-\frac{1}{3}& \frac{2}{3}& -\frac{2}{3}\\ \frac{2}{3}& \frac{2}{3}& \frac{1}{3}\\ -\frac{2}{3}& \frac{1}{3}& \frac{2}{3}\end{array}\right]$，
   从而$A_1=P_{1}A{P}_1=\left[\begin{array}{rrrr}4& -3& 0& 0\\ -3& \frac{10}{3}& 1& \frac{4}{3}\\ 0& 1& \frac{5}{3}& -\frac{4}{3}\\ 0& \frac{4}{3}& -\frac{4}{3}& -1\end{array}\right]$，这便完成第一列的“三对角化”
2. 同理，将矩阵分块，设计正交矩阵$P_2$，完成第二列的“三对角化”
   直接给出$P_2=\left[\begin{array}{ccrr}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -\frac{3}{5}& -\frac{4}{5}\\ 0& 0& -\frac{4}{5}& \frac{3}{5}\end{array}\right]$，
   从而得到$A_2=P_2{A}_1{P}_2=\left[\begin{array}{rrrr}4& -3& 0& 0\\ -3& \frac{10}{3}& -\frac{5}{3}& 0\\ 0& -\frac{5}{3}& -\frac{33}{25}& \frac{68}{75}\\ 0& 0& \frac{68}{75}& \frac{149}{75}\end{array}\right]$
3. 最终的三对角阵就是$A_2=(P_1{P}_2{)}^{-1}A(P_1{P}_2)=P^{-1}AP$，其中$P=P_1{P}_2$为正交矩阵

以上面的三对角化为基础，Householder 变换的两个主要应用都是在数值线性代数的内容：①执行 QR 分解；②计算特征值的 QR 迭代法的第一步。

reference:
特殊矩阵 （4）：Householder 矩阵
Householder 矩阵乘积的特征值
Householder 变换于 QR 分解的应用