Householder变换：线性代数中的镜像反射器

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

1 引言：什么是Householder变换？

Householder变换（Householder transformation）又称为初等反射变换（Elementary reflection）或豪斯霍尔德变换，是线性代数中一种基本而强大的正交变换 🎯。这种变换以美国数学家Alston Scott Householder（1904-1993）的名字命名，尽管历史记录显示苏格兰数学家A.C. Aitken在1932年就已率先提出了这一概念。Householder在1958年强调了该变换在数值线性代数中的重要意义，从而使其成为矩阵计算和数值分析中不可或缺的工具。

从几何角度看，Householder变换描述了一种镜像反射操作——它可以将任意向量关于某个经过原点的超平面进行反射，这个超平面由其法向量确定。这种直观的几何解释与其简洁的代数表示相结合，使得Householder变换在矩阵分解、线性方程组求解和特征值计算等众多领域中有着广泛应用。

与Givens旋转相比，Householder变换具有一次变换可以零化多个矩阵元素的优点，这使得它在许多实际计算中更加高效。

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！
往期文章推荐:

• 20.截断奇异值分解（Truncated SVD）详解：原理、应用与Python实践
• 19.线性代数中的特征向量：矩阵的“DNA方向“
• 18.奇异值分解(SVD)：数据科学的“瑞士军刀“
• 17.CLIP模型全解析：从对比学习到零样本识别的革命
• 16.XLM-R模型：大规模跨语言表示的突破与实践
• 15.GELU（高斯误差线性单元）激活函数全面解析
• 14.神经网络中的随机高斯初始化技术
• 13.Metropolis接受准则：随机模拟与优化中的关键基石
• 12.Rademacher复杂度：衡量机器学习模型复杂度的利器
• 11.对称树结构：原理、应用与Python实现
• 10.Huber损失函数：稳健回归的智慧之选
• 9.拟合优度：模型与数据的契合之度
• 8.Hoeffding树：数据流挖掘中的高效分类算法详解
• 7.独热编码：分类数据处理的基石技术
• 6.加权分位数直方图：提升机器学习效能的关键技术
• 5.Kolmogorov-Smirnov检验：从理论到实践的全解读
• 4.CSC格式：稀疏矩阵的列式压缩存储指南
• 3.机器学习特征筛选中的IV值详解：原理、应用与实现
• 2.群体稳定性指标PSI：机器学习模型稳定性评估的核心工具
• 1.Lift Chart分析：评估分类模型性能的实用工具

2 Householder变换的几何直观与数学定义

2.1 几何直观：镜子中的反射

Householder变换有一个非常直观的几何解释 🔍。在三维空间中，想象一个由法向量$\mathbf{u}$确定的平面镜子。对于任意向量$\mathbf{x}$，Householder变换将其映射为关于这个镜平面的镜像向量$\mathbf{y}$。

更一般地，在n维空间中，给定一个单位向量$\mathbf{u}$（$|\mathbf{u}{|}_2=1$），Householder变换定义了关于以$\mathbf{u}$为法向量的超平面的一种反射变换。这个超平面由所有满足${\mathbf{u}}^{\top }\mathbf{x}=0$的向量$\mathbf{x}$组成，即所有与$\mathbf{u}$正交的向量构成的子空间。

2.2 数学定义与矩阵表示

Householder变换的矩阵形式异常简洁而优美。给定非零向量$\mathbf{u}$，对应的Householder矩阵定义为：

$$H=I-2\mathbf{u}{\mathbf{u}}^{\top }$$

其中$I$是单位矩阵。

当$\mathbf{u}$是单位向量时（即$|\mathbf{u}{|}_2=1$），这个矩阵具有深刻的几何意义：它表示关于以$\mathbf{u}$为法向量的超平面的反射。

如果需要将向量$\mathbf{x}$反射为与特定向量$\mathbf{y}$同方向，且保持长度不变（即$|H\mathbf{x}{|}_2=|\mathbf{x}{|}_2$），我们可以通过选择适当的$\mathbf{u}$来实现。常用的构造方法是给定向量$\mathbf{x}$，我们希望找到Householder变换使其映射到基向量${\mathbf{e}}_1$的倍数：

$$\mathbf{u}=\frac{\mathbf{x}-\alpha {\mathbf{e}}_1}{|\mathbf{x}-\alpha {\mathbf{e}}_1{|}_2},\alpha =\pm |\mathbf{x}{|}_2$$

这种选择可以确保$H\mathbf{x}=\alpha {\mathbf{e}}_1$，即通过一次变换将向量$\mathbf{x}$的所有非第一个分量零化。在实际数值计算中，通常选择$\alpha =-\text{sign}(x_1)|\mathbf{x}{|}_2$以避免数值不稳定。

3 Householder变换的数学性质

3.1 基本性质

Householder矩阵具有几个非常重要的数学性质，这些性质使得它在数值计算中特别有用：

1. 对称性：$H^{\top }=H$
2. 正交性：$H^{\top }H=I$，即$H^{-1}=H^{\top }=H$
3. 对合性：$H^2=I$，即应用两次相同的Householder变换会回到原始向量
4. 行列式：$\det (H)=-1$
5. 保范性：$|H\mathbf{x}{|}_2=|\mathbf{x}{|}_2$，保持向量长度不变

这些性质中，正交性和保范性尤为重要，因为它们保证了Householder变换在数值计算中不会放大误差，从而具有良好的数值稳定性。

3.2 反射性质证明

Householder变换的反射性质可以从其定义直接推导。对于任意向量$\mathbf{x}$，我们有：

$$H\mathbf{x}=(I-2\mathbf{u}{\mathbf{u}}^{\top })\mathbf{x}=\mathbf{x}-2\mathbf{u}({\mathbf{u}}^{\top }\mathbf{x})$$

注意到${\mathbf{u}}^{\top }\mathbf{x}$是一个标量，表示$\mathbf{x}$在$\mathbf{u}$方向上的投影长度。因此，$\mathbf{x}-2\mathbf{u}({\mathbf{u}}^{\top }\mathbf{x})$恰好是$\mathbf{x}$关于以$\mathbf{u}$为法向量的超平面的镜像点。

特别地，对于与$\mathbf{u}$平行的向量$\mathbf{x}=c\mathbf{u}$，有：

$$H(c\mathbf{u})=c\mathbf{u}-2\mathbf{u}({\mathbf{u}}^{\top }c\mathbf{u})=c\mathbf{u}-2c\mathbf{u}=-c\mathbf{u}$$

而对于与$\mathbf{u}$正交的向量$\mathbf{x}$（即${\mathbf{u}}^{\top }\mathbf{x}=0$），则有：

$$H\mathbf{x}=\mathbf{x}-2\mathbf{u}(0)=\mathbf{x}$$

这验证了$H$确实表示关于以$\mathbf{u}$为法向量的超平面的反射变换。

4 Householder变换的算法实现

4.1 数值稳定的算法设计

在实际数值计算中，算法的数值稳定性至关重要。Dubrulle在2000年提出了生成一般稀疏向量的数值稳定Householder变换算法。以下是计算Householder向量的标准数值稳定算法：

给定向量$\mathbf{x}$，我们希望计算Householder向量$\mathbf{u}$和标量$\beta$，使得$H\mathbf{x}=\sigma {\mathbf{e}}_1$，其中$ | \sigma | = \ | \mathbf{x}\ | _2$。

算法步骤：

1. 计算$\sigma =-\text{sign}(x_1)|\mathbf{x}{|}_2$
2. 令$\mathbf{u}=\mathbf{x}$
3. 更新$u_1=u_1-\sigma$
4. 计算$\beta =\frac{2}{{\mathbf{u}}^{\top }\mathbf{u}}=\frac{2}{|\mathbf{u}{|}_2^2}$
5. 返回$\mathbf{u}$和$\beta$

这里使用$\text{sign}(x_1)$并取负号是为了避免抵消现象，增强数值稳定性。如果$x_1$是正数，则$x_1-\sigma$是两个相近正数的减法，可能导致有效数字位数的损失。

5 Householder变换在QR分解中的应用

5.1 QR分解的Householder算法

QR分解是将矩阵分解为正交矩阵$Q$和上三角矩阵$R$乘积的过程，即$A=QR$。使用Householder变换进行QR分解是目前数值稳定性最好的方法之一。

算法的基本思想是通过一系列Householder变换$H_1,H_2,\dots ,H_n$，逐步将矩阵$A$化为上三角形式：

$$H_n\cdots H_2{H}_{1}A=R$$

由于每个$H_i$都是正交矩阵，它们的乘积也是正交矩阵，因此我们有：

$$A=(H_1{H}_2\cdots H_n)R=QR$$

其中$Q=H_1{H}_2\cdots H_n$是正交矩阵。

5.2 QR分解的逐步过程

设$A$是$m\times n$矩阵（$m\ge n$）。QR分解的Householder算法步骤如下：

1. 第一步：令${\mathbf{a}}_1$表示$A$的第一列。构造Householder变换$H_1$使得$H_1{\mathbf{a}}_1=r_{11}{\mathbf{e}}_1$。则：

   $$H_{1}A=\left[\begin{array}{cccc}{r}_{11}& \ast & \cdots & \ast \\ 0& & & \\ ⋮& & B_1& \\ 0& & & \end{array}\right]$$

2. 第二步：对子矩阵$B_1$的第一列（即原矩阵$A$的第二列去掉第一个元素）应用Householder变换${\hat{H}}_2$，并令$H_2=\text{diag}(1,{\hat{H}}_2)$。则：

   $$H_2{H}_{1}A=\left[\begin{array}{ccccc}{r}_{11}& r_{12}& \ast & \cdots & \ast \\ 0& r_{22}& \ast & \cdots & \ast \\ 0& 0& & & \\ ⋮& ⋮& & C_2& \\ 0& 0& & & \end{array}\right]$$

3. 继续此过程：经过$n$步（对于列满秩矩阵）后，我们得到上三角矩阵$R=H_n\cdots H_{1}A$。

4. 重构Q：正交矩阵$Q=H_1{H}_2\cdots H_n$。

在实际实现中，通常不会显式构造$Q$矩阵，而是存储Householder向量，以便后续计算。

6 Householder变换的其他应用

6.1 矩阵三对角化

在对称矩阵特征值问题中，Householder变换可以用于将矩阵化为三对角形式，这是许多特征值算法（如QR算法）的关键预处理步骤。

对于对称矩阵$A$，我们可以通过一系列Householder变换将其化为三对角矩阵$T$：

$$H_{n-2}\cdots H_2{H}_{1}A{H}_1{H}_2\cdots H_{n-2}=T$$

这个过程通过$n-2$步完成，每一步将一列和一行中的非三对角元素零化。

与Jacobi方法相比，Householder方法具有更高的收敛速度和更好的数值稳定性，特别适用于中大型矩阵的特征值计算。

6.2 最小二乘问题求解

Householder变换在最小二乘问题中也有重要应用。对于超定线性方程组$Ax=b$（其中$A$是$m\times n$矩阵，$m>n$），最小二乘解可以通过QR分解高效求得。

使用Householder变换对$A$进行QR分解后，最小二乘问题转化为：

$$\underset{x}{\min }|Ax-b{|}_2=\underset{x}{\min }|QRx-b{|}_2=\underset{x}{\min }|Rx-Q^{\top }b{|}_2$$

由于$R$是上三角矩阵，这个方程组可以通过回代法轻松求解。

与直接解法$x=(A^{\top }A{)}^{-1}{A}^{\top }b$相比，基于QR分解的方法数值稳定性更好，避免了计算$A^{\top }A$可能导致的条件数平方问题。

6.3 奇异值分解（SVD）

在奇异值分解（SVD）的数值计算中，Householder变换也扮演着重要角色。Golub和Kahan在1965年提出的SVD算法就使用了Householder变换将矩阵双对角化，这是计算SVD的关键步骤。

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！