矩阵理论| 特殊矩阵：初等矩阵(2) - 几何意义、一些特殊的初等矩阵举例（基本投影矩阵、基本镜射矩阵/Householder矩阵、初等行变换矩阵）

初等矩阵的几何意义

一般而言，初等矩阵$\mathbf{I}+\mathbf{u}{\mathbf{v}}^T$的几何意义是：将向量$\mathbf{x}$平移$({\mathbf{v}}^T\mathbf{x})\mathbf{u}$，i.e. $(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T)\mathbf{x}=\mathbf{x}+\mathbf{u}({\mathbf{v}}^T\mathbf{x})$

• 对于任意两个向量$\mathbf{x},\mathbf{y}$，一定存在初等矩阵$\mathbf{I}-\sigma \mathbf{u}{\mathbf{v}}^T$，使得$(\mathbf{I}-\sigma \mathbf{u}{\mathbf{v}}^T)\mathbf{x}=\mathbf{y}$
  也就是说，初等矩阵能完成任意两向量之间的映射

特别的，当$\mathbf{u}$和$\mathbf{v}$满足一些特殊关系时，初等矩阵又有其他一些特殊几何意义，下面一一介绍

一些特殊的初等矩阵

引入初等矩阵，实际上是希望将很多常用的矩阵归纳为相同的表达形式，从而简化矩阵的设计

例如，初等行变换所乘的矩阵$E_1=\left[\begin{array}{lll}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],E_2=\left[\begin{array}{lll}1& 0& 0\\ 0& 3& 0\\ 0& 0& 1\end{array}\right],E_3=\left[\begin{array}{lll}1& 0& 0\\ 4& 1& 0\\ 0& 0& 1\end{array}\right]$、正交投影至XY平面的矩阵$P=\left[\begin{array}{lll}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$、以Y轴做镜面反射的矩阵（Householder矩阵）$H=\left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 0\\ 0& 0& 1\end{array}\right]$，都是初等矩阵

Householder矩阵 /基本镜射矩阵

当$\Vert \mathbf{u}\Vert =1$且$\mathbf{v}=-2\mathbf{u}$，初等矩阵$\mathbf{H}=\mathbf{I}-2\mathbf{u}{\mathbf{u}}^T$为Householder矩阵

• ${\mathbf{H}}^T=\mathbf{H}={\mathbf{H}}^{-1}$
  Householder矩阵是一个实对称、正交矩阵（${\mathbf{H}}^T=\mathbf{H}$）
  另外${\mathbf{H}}^2=\mathbf{I}$，镜射两次相当于不变
• 变换前后的向量$\mathbf{x}$和$\mathbf{Hx}$关于镜射超平面 s p a n { u } ⊥ span\{\bold u\}^{\bot } span{u}⊥对称
  

基本投影矩阵

当$\Vert \mathbf{u}\Vert =1$且$\mathbf{v}=-\mathbf{u}$，初等矩阵$\mathbf{P}=\mathbf{I}-\mathbf{u}{\mathbf{u}}^T$为基本投影矩阵

要注意的是，由于${\mathbf{v}}^T\mathbf{u}={\mathbf{u}}^T\mathbf{v}=-1$，基本投影矩阵并不是一个初等矩阵（因为不可逆）
但这里仍然介绍，用于对比学习

• 可以验证基本投影矩阵满足${\mathbf{P}}^2=\mathbf{P}={\mathbf{P}}^T$
• $\mathbf{P}$将向量$\mathbf{x}$投影到超平面 s p a n { u } ⊥ span\{\bold u\}^{\bot } span{u}⊥内
  
  实际上，投影矩阵$\mathbf{P}=\mathbf{I}-\mathbf{u}{\mathbf{u}}^T$将向量投影到 s p a n { u } ⊥ span\{\bold u\}^{\bot } span{u}⊥；
  而投影矩阵$\mathbf{I}-\mathbf{P}=\mathbf{u}{\mathbf{u}}^T$则是将向量投影到 s p a n { u } span\{\bold u\} span{u}（$\mathbf{u}$所处直线）；

初等行变换

初等行变换包括三种：①交换两行；②某行乘以$c$倍；③某行乘以$c$倍后，加到另一方

初等行变换不改变行空间、左零空间，可能改变列空间、零空间，但是能保持列向量之间的相关性

我们已经知道，对矩阵做初等行变换，等价于用初等变换矩阵左乘该矩阵

实际上，这些初等变换矩阵，都可以写成如下的初等矩阵形式：
ps. 其中 ${\mathbf{e}}_i$是第$i$个标准单位向量（第$i$个元素为1，其余为0）

• 交换$i$和$j$行：$E_1=I_n+({\mathbf{e}}_i-{\mathbf{e}}_j)({\mathbf{e}}_j-{\mathbf{e}}_i{)}^T$

几何意义：
保证$\Vert \mathbf{u}\Vert =1$，可得$\mathbf{u}=\frac{1}{\sqrt{2}}({\mathbf{e}}_i-{\mathbf{e}}_j)$，$\mathbf{v}=-\mathbf{u}$
则$E_1=\mathbf{I}-\mathbf{u}{\mathbf{u}}^T$，这是Householder矩阵，对应镜射变换

• $i$行变为原来的$c$倍：$E_2=I_n+(c-1){\mathbf{e}}_i{\mathbf{e}}_i^T$

几何意义：
保证$\Vert \mathbf{u}\Vert =1$，可得$\mathbf{u}={\mathbf{e}}_i$，$\mathbf{v}=(c-1){\mathbf{e}}_i$，$E_2$是伸缩矩阵
$E_2\mathbf{x}=(I_n+(c-1){\mathbf{e}}_i{\mathbf{e}}_i^T)\mathbf{x}=\mathbf{x}+(c-1){\mathbf{e}}_i({{\mathbf{e}}_{\mathbf{i}}}^T\mathbf{x})=\mathbf{x}+(c-1)x_i{\mathbf{e}}_i$，这是将$\mathbf{x}$的第$i$个分量变为原来的$c$倍

• $j$行乘以$c$倍加到$i$行：$E_3=I_n+c{\mathbf{e}}_i{\mathbf{e}}_j^T$

几何意义：
保证$\Vert \mathbf{u}\Vert =1$，可得$\mathbf{u}={\mathbf{e}}_i$，$\mathbf{v}=c{\mathbf{e}}_j$
$E_3\mathbf{x}=(I_n+c{\mathbf{e}}_i{\mathbf{e}}_j^T)\mathbf{x}=\mathbf{x}+c{x}_j{\mathbf{e}}_i$，这是将$\mathbf{x}$的第$j$个分量变为原来的$c$倍加到第$i$个分量上
$E_3$是一个切变 （shear） 矩阵，他将向量$\mathbf{x}$沿着 ${\mathbf{e}}_i$方向平移 $c{x}_j$ 个单位。

reference：
特殊矩阵 （10）：基本矩阵
基本矩阵的几何意义