矩阵分析笔记（三-1）

欧式空间

设$V$为实数域$R$上$n$维线性空间，对于$V$中任意两个向量$\alpha ,\beta$按照某一确定法则对应一个实数，这个实数称为$\alpha$与$\beta$的内积，记为$(\alpha ,\beta )$，且要求

• $(\alpha ,\beta )=(\beta ,\alpha )$
• $(k\alpha ,\beta )=k(\alpha ,\beta )$
• $(\alpha +\beta ,\gamma )=(\alpha ,\gamma )+(\beta ,\gamma )$
• $(\alpha ,\alpha )\ge 0$，当且仅当$\alpha =0$时$(\alpha ,\alpha )=0$

称带有这样内积的$n$维线性空间$V$为欧氏空间

酉空间

设$V$是复数域$C$上的$n$维线性空间，对于$V$中任意两个向量$\alpha ,\beta$按照某一确定法则对应一个复数，称复数为$\alpha$与$\beta$内积，记为$(\alpha ,\beta )$并要求内积满足

• $(\alpha ,\beta )=\overline{(\beta ,\alpha )}$
• $(k\alpha ,\beta )=k(\alpha ,\beta )$
• $(\alpha +\beta ,\gamma )=(\alpha ,\gamma )+(\beta ,\gamma )$
• $(\alpha ,\alpha )\ge 0$，当且仅当$\alpha =0$时$(\alpha ,\alpha )=0$

称带有这样内积的$n$维线性空间$V$为酉空间

例规定
$(\alpha ,\beta )={\bar{\beta }}^T\alpha$
第二条性质变为$(\alpha ,k\beta )=\bar{k}(\alpha ,\beta )$

欧式空间和酉空间统称内积空间

内积

设$V$为$n$维酉空间， { α i } \{\alpha_{i}\} {αi​}为一组基底，对于$V$中任意两个向量
$$\alpha =\sum _{i=1}^n{x}_i{\alpha }_i，\beta =\sum _{j=1}^n{y}_j{\alpha }_j$$
那么$\alpha$与$\beta$内积为
$$(\alpha ,\beta )=\sum _{i,j=1}^n{x}_i\overline{y_j}({\alpha }_i,{\alpha }_j)$$
令$g_{ij}=({\alpha }_i,{\alpha }_j)$
$$G=\left[\begin{array}{cccc}{g}_{11}& g_{12}& \dots & g_{1n}\\ g_{21}& g_{22}& \dots & g_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ g_{n1}& g_{n2}& \dots & g_{nn}\end{array}\right]$$
称基底 { α i } \{\alpha_{i}\} {αi​}的度量矩阵，且
$$\begin{gathered} g_{ij}=\overline{g_{ji}} \\ {\bar{G}}^T=G \\ (\alpha ,\beta )=X^{T}G\bar{Y} \end{gathered}$$

Hermite矩阵

复共轭转置矩阵

设$A\in C^{n\times n}$，用$\bar{A}$表示以$A$中元素的共轭复数为元素组成的矩阵，记为
$$A^H=(\bar{A}{)}^T$$
称$A^H$为$A$复共轭转置矩阵

性质

• $A^H=\overline{A^T}$
• $(A+B{)}^H=A^H+B^H$
• $(kA{)}^H=\bar{k}{A}^H$
• $(AB{)}^H=B^H{A}^H$
• $(A^k{)}^H=(A^H{)}^k$
• $(A^H{)}^H=A$
• $|A^H|=\overline{|A|}$
• $(A^H{)}^{-1}=(A^{-1}{)}^H$

Hermite矩阵

若$A^H=A$，称$A$为Hermite矩阵，若$A^H=-A$，则称$A$为反Hermite矩阵

• 实对称矩阵为Hermite矩阵
• 反实对称矩阵为反Hermite矩阵
• 欧式空间度量矩阵为Hermite矩阵
• 酉空间度量矩阵为Hermite矩阵

对任意矩阵$A$都可以表示为
$$A=\frac{A+A^H}{2}+\frac{A-A^H}{2}$$

内积空间度量

设$V$为酉（欧式）空间，向量$\alpha \in V$的长度定义为非负实数
$$||\alpha ||=\sqrt{(\alpha ,\alpha )}$$

性质

• $||\alpha ||\ge 0$当且仅当$\alpha =0$时，$||\alpha ||=0$
• $||k\alpha ||=|k|||\alpha ||,k\in C$
• $||\alpha +\beta ||\le ||\alpha ||+||\beta ||$
• $|(\alpha ,\beta )|\le ||\alpha ||||\beta ||$

正交

在酉空间$V$中，若有$(\alpha ,\beta )=0$，则称$\alpha$与$\beta$正交，记为$\alpha \perp \beta$

单位向量

长度为$1$的向量称单位向量，对任一非零向量$\alpha$，向量$\frac{\alpha }{||\alpha ||}$，总是单位向量，此过程称为单位化

正交向量组

设 { α i } \{\alpha_{i}\} {αi​}为一组不含有零向量的向量组，若 { α i } \{\alpha_{i}\} {αi​}内任意两个向量彼此正交，则称其为正交向量组

若正交向量组任何一个向量都是单位向量，则向量组为标准正交向量组

在$n$维内积空间中$n$个正交向量组成的基底称正交基底，由$n$个标准的正交向量组成的基底称为标准正交基

{ α i } \{\alpha_{i}\} {αi​}正交向量组充要条件为
$$({\alpha }_i,{\alpha }_j)=0,i\ne j$$

{ α i } \{\alpha_{i}\} {αi​}标准正交向量组充要条件为
$$({\alpha }_i,{\alpha }_j)={\delta }_{ij}$$

Schmit正交化

正交向量组为线性无关向量组，反之由线性无关向量组出发，可以构造标准正交向量组

正交化

$$\begin{gathered} {\beta }_1={\alpha }_1 \\ {\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1 \\ \dots \\ {\beta }_r={\alpha }_r-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\cdots -\frac{({\alpha }_r,{\beta }_{r-1})}{({\beta }_{r-1},{\beta }_{r-1})}{\beta }_{r-1} \end{gathered}$$

单位化

$${\eta }_1=\frac{{\beta }_1}{||{\beta }_1||},...,{\eta }_r=\frac{{\beta }_r}{||{\beta }_r||}$$

酉矩阵

设$A$为$n$阶复矩阵，若其满足
$$A^{H}A=A{A}^H=I$$
则称$A$为酉矩阵，一般记为$A\in U^{n\times n}$

Householder矩阵

设$\alpha \in C^{n\times 1}$且${\alpha }^H\alpha =1$，若$G=1-2\alpha {\alpha }^H$，则$G$为酉矩阵，通常称为Householder矩阵

性质

若$A,B\in U^{n\times n}$则

• $A^{-1}=A^H\in U^{n\times n}$
• $|det(A)|=1$
• $AB,BA\in U^{n\times n}$

酉矩阵保持向量内积长度，夹角不变

判断

$A$是酉矩阵的充要条件为$A$的行（列）向量组为标准正交向量组

幂等矩阵

若$A$满足$A^2=A$，则称$A$为幂等矩阵

性质

• $A^H,I-A,I-A^H$都为幂等矩阵
• $A(I-A)=(I-A)A=0$
• $N(A)=R(I-A)$

$$\begin{gathered} 若x\in N(A),则Ax=0 \\ 可知x-Ax=x-0=x,整理为(I-A)x=x \\ 因此x\in R(I-A)，N(A)\subseteq R(I-A) \\ 若y\in R(I-A)，则\exists x\in C^n，使得y=(I-A)x \\ 则有Ay=A(I-A)x=(A-A^2)x=0 \\ 因此y\in N(A)，即可得R(I-A)\subseteq N(A) \end{gathered}$$

• $Ax=x$的充要条件为$x\in R(A)$
• $C^n=R(A)\oplus N(A)x=Ax+(x-Ax)$

$$\begin{gathered} \forall z\in R(A)\cap N(A),\exists x\in C^n,z=Ax \\ Az=A^{2}x=Ax=z=0 \end{gathered}$$

结构定理

设$A$为秩为$r$的$n$阶矩阵，那么$A$为一个幂等矩阵的充要条件是存在$P\in C_n^{n\times n}$，使得
$$P^{-1}AP=\left[\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right]$$

推论

设$A$为$n$阶幂等矩阵，则有
$$Tr(A)=rank(A)$$

投影变换

设$S,T$为$n$维酉空间$V$的两个子空间，且$V=S\oplus T$，则对$V$中任一向量$\alpha$均可唯一表示为
$$\alpha =x+y,x\in S,y\in T$$
则称$x$是$\alpha$沿$T$到$S$的投影，$y$是$S$到$T$的投影
由上式确定的线性变换$\tau :V\to S\subseteq V$
$$\tau (\alpha )=x$$
称$V$沿$T$到$S$的投影变换

定理

设$A$为$n$阶幂等矩阵，则线性变换
$$\tau (\alpha )=A\alpha ,\forall \alpha \in C^n$$
是$C^n$沿着$N(A)$到$R(A)$的投影变换

若$\tau$为$n$维酉空间$V$上线性变换，则下列命题等价

• $\tau$为$V$上投影变换
• ${\tau }^2=\tau$
• $\tau$矩阵表示$A$满足$A^2=A$

$(1)\to (2)$
$$\begin{gathered} \forall \alpha \in V,\alpha =x+y,x\in S,y\in T,\tau (\alpha )=x \\ {\tau }^2(\alpha )=\tau (\tau (\alpha ))=\tau (x)=x=\tau (\alpha ) \end{gathered}$$

$(2)\to (1)$
$$\begin{gathered} \forall \alpha \in V \\ \alpha =\tau (\alpha )+\alpha -\tau (\alpha )由于{\tau }^2=\tau \\ \tau (\alpha -\tau (\alpha ))=\tau (\alpha )-{\tau }^2(\alpha )=0 \\ 从而\alpha -\tau (\alpha )\in N(\tau ) \\ 且V=R(\tau )+N(\tau ) \\ \forall x\in R(\tau )，则\exists \beta \in V使得x=\tau (\beta )，那么 \\ \tau (x)={\tau }^2(\beta )=\tau (\beta )=x \\ 从而\forall \gamma \in R(\tau )\cap N(\tau )，则\gamma =\tau (\gamma )=0 \\ 则V=R(\tau )\oplus N(\tau ) \\ \alpha =\tau (\alpha )+\alpha -\tau (\alpha )即\tau 是V沿着N(\tau )到R(\tau )投影变换 \end{gathered}$$

$(2)\to (3)$
$$\begin{gathered} 设{\alpha }_1...{\alpha }_n为V一组基，A是\tau 在该基下表示，于是 \\ \tau ({\alpha }_1...{\alpha }_n)=({\alpha }_1...{\alpha }_n)A \\ {\tau }^2({\alpha }_1...{\alpha }_n)=\tau (({\alpha }_1...{\alpha }_n)A)=\tau ({\alpha }_1...{\alpha }_n)A=({\alpha }_1...{\alpha }_n)A^2=({\alpha }_1...{\alpha }_n)A \\ {\alpha }_1...{\alpha }_n线性无关，A^2=A \end{gathered}$$

$(2)\to (2)$
$$\begin{gathered} 若\tau ({\alpha }_1...{\alpha }_n)=({\alpha }_1...{\alpha }_n)A则 \\ {\tau }^2({\alpha }_1...{\alpha }_n)=({\alpha }_1...{\alpha }_n)A^2 \\ 若A^2=A，那么{\tau }^2=\tau \end{gathered}$$

正交投影变换

设$S,T$是$n$维酉空间$V$的两个子空间，若对任意$x\in S,y\in T$都有$(x,y)=0$则称$S$与$T$正交

设$S,T$是$n$维酉空间$V$的两个子空间，若$S$与$T$正交，则$S+T$称为$S$与$T$正交和

设n维酉空间$V$是子空间$S$与$T$正交和，对任意$\alpha \in V$有$\alpha =x+y,x\in S,y\in T$，则线性投影变换$\sigma :V\to S\subseteq V$。$\sigma (\alpha )=x$称由$V$到$S$正交投影

设$A$是$n$阶幂等$H$矩阵，则线性变换
$$\sigma (\alpha )=A\alpha ,\forall \alpha \in C^n$$
是$C^n$到$R(A)$的正交投影变换