House holder reflections and Givens rotations

House holder reflections and Givens rotations

Householder反射和Givens旋转是两种常见的线性代数方法，用于将一个矩阵分解为正交矩阵(Q)和上三角矩阵®，即QR分解。它们在数值线性代数中非常重要，特别是在求解线性方程组和特征值问题中。以下是这两种方法的原理及它们与QR分解的关系：

Householder反射 (Householder Reflection)

Householder反射是一种利用反射将一个向量转换为另一个向量的方法。具体来说，Householder反射可以用于将一个向量变成一个特定方向的向量，比如将一个向量变成与标准基向量平行的向量。这种方法的主要特点是，它可以在很少的运算步骤中完成这一操作，因此在数值计算中非常高效。

原理：

1. 给定一个向量 $x$，我们希望将其转换为与标准基向量 $e_1$ 平行的向量。为此，我们构造一个Householder矩阵 $H$。
2. Householder矩阵 $H$ 的形式为：
   $$H=I-2\frac{v{v}^T}{v^{T}v}$$
   其中，$v$ 是一个特定构造的向量，使得 $Hx$ 与 $e_1$ 平行。

步骤：

1. 选择 $v=x+\text{sign}(x_1)\Vert x{\Vert }_2{e}_1$，其中 $\Vert x{\Vert }_2$ 是 $x$ 的2-范数，$\text{sign}(x_1)$ 是 $x_1$ 的符号。
2. 计算 $H$ 并使用 $H$ 对原矩阵 $A$ 进行反射，得到一个新的矩阵 $A^{\prime }$ ，其中v对应的列被转换为与标准基向量平行，即列中对应行的元素不为0，其余元素均为0。

通过多次应用Householder反射，我们可以将矩阵 $A$ 转换为一个上三角矩阵 $R$，同时累积这些反射矩阵以形成正交矩阵 $Q$。

Givens旋转 (Givens Rotation)

Givens旋转是一种通过旋转将一个向量的某个分量置零的方法。这种方法非常适合用于稀疏矩阵，因为它可以有选择地仅对矩阵的某些元素进行操作。

原理：

1. Givens旋转通过构造一个旋转矩阵 $G$ 来对两个元素进行旋转，使得其中一个元素变为零。
2. Givens旋转矩阵 $G(i,j,\theta )$ 的形式为：
   $$G=\left[\begin{array}{ccccccc}1& & & & & & \\ & \ddots & & & & & \\ & & c& & s& & \\ & & & 1& & & \\ & & -s& & c& & \\ & & & & & \ddots & \\ & & & & & & 1\end{array}\right]$$
   其中，$c=\cos (\theta )$ 和 $s=\sin (\theta )$。

步骤：

1. 选择 $\theta$ 使得 $c=\frac{a}{\sqrt{a^2+b^2}}$ 和 $s=\frac{b}{\sqrt{a^2+b^2}}$，其中 $a$ 和 $b$ 是矩阵中要被操作的两个元素。
2. 通过旋转矩阵 $G$ 对矩阵进行操作，将其中一个元素置零。

eg:
$$G=\left[\begin{array}{cc}c& s\\ -s& c\end{array}\right],v=\left[\begin{array}{c}a\\ b\end{array}\right]$$
则可得：
$$Gv=\left[\begin{array}{c}cos\theta \ast a+sin\theta \ast b\\ -sin\theta \ast a+cos\theta \ast b\end{array}\right]=\left[\begin{array}{c}a+b\\ 0\end{array}\right]$$

通过多次应用Givens旋转，可以将矩阵 $A$ 转换为上三角矩阵 $R$，同时累积这些旋转矩阵以形成正交矩阵 $Q$。

Householder反射和Givens旋转与QR分解的关系

这两种方法都可以用于QR分解，但它们有各自的优缺点：

• Householder反射通常在处理密集矩阵时更有效，因为它每次操作可以消去一个向量中的多个元素，从而减少总的运算次数。
• Givens旋转在处理稀疏矩阵时更有效，因为它可以有选择地仅对矩阵的某些元素进行操作，从而保持矩阵的稀疏性。

总体来说，QR分解的目标是通过一系列的正交变换（Householder反射或Givens旋转）将原矩阵 $A$ 分解为一个正交矩阵 $Q$ 和一个上三角矩阵 $R$：
$$A=QR$$
其中， $Q$ 是一个正交矩阵， $R$ 是一个上三角矩阵。Householder反射和Givens旋转提供了实现这一目标的两种不同方法。

参考链接

《2013 Matrix Computations 4th》