矩阵分析(2)--正规矩阵、正交矩阵

正规矩阵

正规矩阵是很重要也很特殊的一类矩阵，因为它能使得谱定理成立，也一定能够酉相似对角化

在数学中，正规矩阵 (英语: normal matrix) $\mathbf{A}$ 是与自己的共轭转置满 足交换律的实系数方块矩阵，也就是说， $\mathbf{A}$ 满足
$${\mathbf{A}}^{\ast }\mathbf{A}=\mathbf{A}{\mathbf{A}}^{\ast }$$
其中 ${\mathbf{A}}^{\ast }$ 是 $\mathbf{A}$ 的共轭转置。
如果 $\mathbf{A}$ 是实系数矩阵, 则 ${\mathbf{A}}^{\ast }={\mathbf{A}}^T$, 从而条件简化为 ${\mathbf{A}}^T\mathbf{A}=\mathbf{A}{\mathbf{A}}^T$ 其 中 ${\mathbf{A}}^T$ 是 $\mathbf{A}$ 的转置矩阵。

• 前面说到，一个线性变换可以用矩阵来表示。而正规算子用矩阵来表示，得到的就是一个正规矩阵。任何一个正规矩阵，都是某个正规算子在一组标准正交基下的矩阵；反之，任一正规算子在一组标准正交基下的矩阵都为正规矩阵。从这里看出来，因为正规算子是很稀少的，所以正规矩阵也是很稀少的一种矩阵
• 矩阵的正规性是检验矩阵是否可对角化的一个简便方法: 任意正规矩阵都 可在经过一个酉变换后变为对角矩阵，反过来所有可在经过一个酉变换后 变为对角矩阵的矩阵都是正规矩阵。矩阵可酉相似对角化的充要条件是它为正规矩阵(注意是对角化不是三角化)。还要注意一点，相似对角化的条件很弱(特征向量够多)，酉相似对角化的条件很强(需要正规矩阵)

对二阶方阵的一些分析

首先明白一个定理: 任何矩阵都可以通过相似变换变换为上三角矩阵

1. 标准形式

$$\text{ Thm. }T2\times 2\Rightarrow T\cong \left[\begin{array}{ll}a& b\\ 0& c\end{array}\right],\mathrm{b}\ge 0\text{, uniquely (except a,c may interchange) }$$

2. 酉等价

$T_1,T_{2}2\times 2$
(i) $T_1\cong T_2\iff$ same canonical form.
(ii) $T_1\cong T_2\iff \underset{\downarrow }{\underbrace{\mathrm{tr}{T}_1=\mathrm{tr}{T}_2,\mathrm{tr}{T}_1^2=\mathrm{tr}{T}_2^2}}\&\mathrm{tr}\left(T_1^{\ast }{T}_1\right)=\mathrm{tr}\left(T_2\ast T_2\right)$
$T_1,T_2$ same eigenvalues. Hilbert-Schmidt norm same
(Reason: $\mathrm{tr}T=$ sum of eigenvalues of $T$ )
(iii) $T_1\cong T_2\iff \underset{\downarrow }{\underbrace{\mathrm{tr}{T}_1=\mathrm{tr}{T}_2,\det T_1=\det T_2}}\&{\Vert T_1\Vert }_F={\Vert T_2\Vert }_F$.
same eigenvalues.
(Reason: $\det T=$ product of eigenvalues of $T$ )
(iv) $T_1\cong T_2\iff W\left(T_1\right)=W\left(T_2\right)$.

3. 一些数值性质

Def. T ∈ n × n , W ( T ) = { ⟨ T x , x ⟩ : x ∈ C n ; ∥ x ∥ = 1 } ⊆ C T \in n \times n, W(T)=\left\{\langle T x, x\rangle: x \in \mathbb{C}^{n} ;\|x\|=1\right\} \subseteq \mathbb{C} T∈n×n,W(T)={⟨Tx,x⟩:x∈Cn;∥x∥=1}⊆C
Hausdorff-Toeplitz:
$W(T)$ is convex in $\mathbb{C}$.
Thm. (O. Toeplitz, 1918)
$T=\left[\begin{array}{ll}a& b\\ 0& c\end{array}\right]\Rightarrow W(T)=$ elliptic disc, foci at $a,c$ & length of minor axis $=|\mathrm{b}|$.

即对长度为1的向量来说，用内积<Tx,x>张成的一定是一个凸集。不仅如此，海是一个以a、c为焦点、以b为短轴长度的椭圆

矩阵的四个基本子空间

$$\begin{array}{rl}& \text{ 矩阵 }{A}_{m\times n}\text{ 的四个基本子空间 : }\\ & \text{ 列空间 }C(A)\text{ ，行空间 }C\left(A^T\right)\text{ ， }\\ & \text{ 零空间 }N(A)\text{ ， }{A}^T\text{ 的零空间 }N\left(A^T\right)\\ & \text{ 若 }\mathrm{rank}(A)=r\text{ ， }\\ & \text{ 则 }\dim (C(A))=\dim \left(C\left(A^T\right)\right)=r\text{ ， }\\ & \dim (N(A))=n-r，\dim \left(N\left(A^T\right)\right)=m-r\end{array}$$

• 矩阵"三秩合一"，行秩=列秩=矩阵秩。这个定理的证明都是一些很不直观的证法，很技巧化，不用深究
• 所谓零空间是指Ax=0的解空间。显然有$dim(N(A))+dim(C(A))=r(A)$，从而可以得到$dim(N(A))=dim(C(A))-r$

正交矩阵

正交矩阵(更合适的说法是正交规范矩阵，因为它不仅要求列列正交，还要求每列的模为1)是比正规矩阵更特殊的矩阵，它要求
$$Q^{T}Q=Q{Q}^T=I$$
而正规矩阵只要求
$${\mathbf{Q}}^{\ast }\mathbf{Q}=\mathbf{Q}{\mathbf{Q}}^{\ast }$$

几个特殊的正交矩阵

旋转矩阵与反射矩阵

rotation matrix: reflection matrix:

二维的旋转代表某个点(或者)绕着原点逆时针旋转$\theta$度，三维的旋转代表绕着某个轴旋转$\theta $度，下面的左式即旋转矩阵

反射矩阵的含义是，使某个向量绕某个与之成$\frac{\theta }{2}$射线进行反射
$$\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]\left[\begin{array}{cc}\cos \theta & \sin \theta \\ \sin \theta & -\cos \theta \end{array}\right]$$

小波矩阵

wavelet matrix:
$$W_4=\left[\begin{array}{cccc}1& 1& 1& 0\\ 1& 1& -1& 0\\ 1& -1& 0& 1\\ 1& -1& 0& -1\end{array}\right],W_8=?$$

哈达玛矩阵

Hadamard matrix:

H2为2X2的方阵，H4由H2构造出来，为4X4的矩阵，H8用相同方法构造出来，为8X8的矩阵
$$H_2=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right],H_4=\left[\begin{array}{cc}{H}_2& H_2\\ H_2& -H_2\end{array}\right],H_8=\dots$$

Householder矩阵

Householder matrix:

其中向量u为一个nX1的模长为1的向量，下面构造出来的就是一个Householder矩阵，注意他其实是一个很特殊的矩阵(正交规范、厄密特对称)
$$H=I-2u{u}^T$$

判断矩阵是否正定

Symmetric positive definite matrix S:

1. All ${\lambda }_i>0$;
2. Energy $x^{T}Sx>0$, for $x\ne 0$;
3. $S=A^{T}A$, columns in $A$ are indep.;
4. All leading determinants $>0$;
5. All pivots in elimination $>0$.