矩阵理论| 基础：线性变换（正交/酉变换、对称/共轭变换、正规变换）、不变子空间

线性变换

线性变换$\mathcal{T}$是从向量到向量的映射，并且满足可加性和数乘性：$\mathcal{T}(k\alpha +l\beta )=k\mathcal{T}(\alpha )+l\mathcal{T}(\beta )$

给定一个坐标系后，线性变换$\mathcal{T}$对应一个矩阵$\mathbf{A}\in {\mathcal{C}}^{m\times n}$

• 线性变换的值域Range $R(\mathcal{T})$就是$\mathbf{A}$的列空间$C(\mathbf{A})$，线性变换的核 $N(\mathcal{T})$就是$\mathbf{A}$的零空间$N(\mathbf{A})$

ps. 这里的值域/列空间记为$R$，而不是$C$

• 他们仍然满足矩阵四个子空间的结论，例如整个空间$V=N(\mathcal{T})\oplus 行空间(\mathcal{T})$，但一般$V=N(\mathcal{T})\oplus R(\mathcal{T})$不成立
  详见线性代数学习笔记4-6：矩阵的四个子空间
• 对于投影变换$\mathcal{T}$，满足$V=N(\mathcal{T})\oplus R(\mathcal{T})$（直和补）
  进一步，对于正交投影$\mathcal{T}$，满足$N(\mathcal{T}{)}^{\perp }=R(\mathcal{T})$(正交补)

常见的线性变换

在实数域的欧式空间上：

• 正交变换：在一组标准正交基下的矩阵为正交矩阵
  特点：特征值$\lambda$满足$|\lambda |=1$，且保内积不变
• 对称变换：在一组标准正交基下的矩阵为对称矩阵
  特点：特征值全为实数，属于不同特征值的特征子空间（特征向量）互相正交

推广至复数域的酉空间上：

• 酉变换：在一组标准正交基下的矩阵为酉矩阵
• 共轭变换：在一组标准正交基下的矩阵为Hermite矩阵（${\mathbf{A}}^H=\mathbf{A}$）

具有良好性质的一类变换是正规变换：在一组标准正交基下的矩阵为正规矩阵，满足${\mathbf{A}}^H\mathbf{A}=\mathbf{A}{\mathbf{A}}^H$（$\mathbf{A}$和${\mathbf{A}}^H$都是正规矩阵）

• 特点1：特征向量($\mathbf{Ax}=\lambda \mathbf{x}$)满足${\mathbf{A}}^H\mathbf{x}=\bar{\lambda }\mathbf{x}$
  或者说，正规变换$\mathbf{A}$与正规变换${\mathbf{A}}^H$的特征向量完全相同（且特征值互为共轭）
• 特点2：正规矩阵$\mathbf{A}$是单纯矩阵（可相似对角化），并且与对角阵酉相似（$\mathbf{A}=\mathbf{U\Lambda }{\mathbf{U}}^H$）
  另外，根据特点1，正规矩阵${\mathbf{A}}^H=\mathbf{U}{\mathbf{\Lambda }}^H{\mathbf{U}}^H=\mathbf{U}\bar{\mathbf{\Lambda }}{\mathbf{U}}^H$（与前面是相同的$\mathbf{U}$和$\mathbf{\Lambda }$）
• 特点3：正规变换/正规矩阵 属于不同特征值的特征子空间（特征向量）互相正交

证明：
对于对称矩阵$\mathbf{A}$，两个不同的特征向量满足$\mathbf{Ax}=\lambda \mathbf{x}，\mathbf{Ay}=\alpha \mathbf{y}(\lambda \ne \alpha )$
目标：构造内积$(\mathbf{x},\mathbf{y})={\mathbf{x}}^H\mathbf{y}=0$
①由$\mathbf{Ax}=\lambda \mathbf{x}$，转置得${\mathbf{x}}^H{\mathbf{A}}^H=\bar{\lambda }{\mathbf{x}}^H$，故${\mathbf{x}}^H{\mathbf{A}}^H\mathbf{y}=\bar{\lambda }{\mathbf{x}}^H\mathbf{y}$
②由$\mathbf{Ay}=\alpha \mathbf{y}$，结合上共轭矩阵的性质得${\mathbf{A}}^H\mathbf{y}=\bar{\alpha }\mathbf{y}$，故${\mathbf{x}}^H{\mathbf{A}}^H\mathbf{y}=\bar{\alpha }{\mathbf{x}}^H\mathbf{y}$
结合①②可知$\bar{\lambda }{\mathbf{x}}^H\mathbf{y}=\bar{\alpha }{\mathbf{x}}^H\mathbf{y}$，即$(\bar{\lambda }-\bar{\alpha }){\mathbf{x}}^H\mathbf{y}=0$而$\lambda \ne \alpha$，故${\mathbf{x}}^T\mathbf{y}=0$，即两特征向量正交，由$\lambda$和$\alpha$的任意性可知，正规矩阵属于不同特征值的特征向量必正交

正交变换、对称变换、反对称变换都是正规变换

不变子空间（invariant subspace）

不变子空间的概念是针对特定的线性变换$\mathcal{T}$而言的：
对于子空间$V_1=span({\alpha }_1,...,{\alpha }_{\mathbf{r}})$，
$\mathcal{T}({\alpha }_{\mathbf{i}})\in V_1,i=1,2,...,r$（该空间的任意基向量做线性变换$\mathcal{T}$，仍属于该空间）$⟺$$V_1$是线性变换$\mathcal{T}$的不变子空间

或者说：不变子空间$V_1$内的任意向量$\mathbf{x}$，都满足$\mathcal{T}(\mathbf{x})\in V_1$
（任意向量都可以表示为基向量的线性组合，结合上线性变换的可加性与数乘性，即可证明）

不变子空间是一个特殊的线性子空间，该子空间中的任意向量$\mathbf{x}$经过线性变换$\mathcal{T}$后，仍然在该子空间内

不变子空间的性质：

• 最典型的不变子空间：
  线性变换$\mathcal{T}$的任意特征值$\lambda$的特征子空间 V λ = { x ∣ T x = λ x } V_\lambda =\{x|\mathcal Tx=\lambda x\} Vλ​={x∣Tx=λx}，都是$\mathcal{T}$的不变子空间

i.e. 特征值${\lambda }_i$对应的特征向量的张成空间是不变子空间，特征值分解$\mathbf{A}=\mathbf{V\Lambda }{\mathbf{V}}^{-1}$中$\mathbf{V}$的相应列就给出了该不变子空间的一组基（特别的，对于对称阵$\mathbf{A}$，$\mathbf{V}$给出的是一组正交基）；
当特征值${\lambda }_i$为唯一的，则对应一个一维不变子空间，基就是特征向量本身；
对于高维不变子空间，基底不唯一

• 线性变换$\mathcal{T}$有多个不变子空间，这些不变子空间的交/这些不变子空间的和，仍为不变子空间

推论：$V_1$是线性变换$\mathcal{T}$的不变子空间，那么$V_1$也是任何多项式$f(\mathcal{T})$的不变子空间
推论：$V_1$同时是线性变换${\mathcal{T}}_1$和${\mathcal{T}}_2$的不变子空间，那么$V_1$也是${\mathcal{T}}_1+{\mathcal{T}}_2$及${\mathcal{T}}_1{\mathcal{T}}_2$的不变子空间

• 值域$R(\mathcal{T})$和核$N(\mathcal{T})$都是线性变换$\mathcal{T}$的不变子空间（用定义可验证）