矩阵分析-内积

2. 内积空间

原文：https://gitee.com/fakerlove/matrix

2.0 考试重点+例题

https://www.bilibili.com/read/cv3995642

重点内容

• 内积空间的判定/证明

• 柯西-许瓦兹不等式

• 施密特正交化（求标准正交基）

• 正交变换的判定/证明

• 方程组的最小二乘解

• 复数矩阵的对角化

  一些其他概念/定义：对角行矩阵，实对称矩阵，实反对称矩阵，厄米特矩阵，反厄米特矩阵，正交矩阵，酉矩阵。

2.0.1 求矩阵的特征值和矩阵的迹

这个就不举例了

一个$n\times n$矩阵$A$中主对角线(从左上方至右下方的对角线)上各元素的总和被称为$A$的迹$trA={\sum }_{i=1}^n{a}_{ii}={\lambda }_1+\cdots +{\lambda }_n$

2.0.2 矩阵的秩的关系

$r(A)+r(B)-n\le r(A|B)\le min(r(A),r(B))$

2.0.3 求最小二乘解

$${\alpha }_1=\left[\begin{array}{c}1\\ 2\\ 3\\ 4\end{array}\right],{\alpha }_2=\left[\begin{array}{c}5\\ 6\\ 1\\ 1\end{array}\right],b=\left[\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right]$$

求$b$到$L({\alpha }_1,{\alpha }_2)$的最小距离
$$\begin{gathered} A^{T}Ax=X^{T}B \\ \left[\begin{array}{cccc}1& 2& 3& 4\\ 5& 6& 1& 1\end{array}\right]\left[\begin{array}{cc}1& 5\\ 2& 6\\ 3& 1\\ 4& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{cccc}1& 2& 3& 4\\ 5& 6& 1& 1\end{array}\right]\left[\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right] \\ \left[\begin{array}{cc}30& 24\\ 24& 63\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}1\\ 5\end{array}\right] \\ \to x_1=\frac{-19}{438},x_2=\frac{21}{219} \\ ||Ax-b|{|}_2 \end{gathered}$$

2.0.4 酉矩阵的特征值

$|{\lambda }_i{|}^2=1,A{A}^H=E$

2.1 内积空间的相关概念

欧式空间与酉空间通称为内积空间

2.1.1 欧式空间⭐️

设$V$是实数域$R$上的$n$维空间，对于$V$中的任意两个向量$\alpha ,\beta$按照某一确定法则对应着一个实数，这个实数称为$\alpha$与$\beta$的内积。记为$(\alpha ,\beta )$,并且要求内积满足下列运算条件：

• $(\alpha ,\beta )=(\beta ,\alpha )$
• $(k\alpha ,\beta )=k(\alpha ,\beta )$
• $(\alpha +\beta ,r)=(\alpha ,r)+(\beta ,r)$
• $(\alpha ,\alpha )\ge 0$，当且仅当$\alpha =0$时$(\alpha ,\alpha )=0$

这里$\alpha ,\beta ,r$是$V$中的任意向量，$k$为任意实数，这样我们称带有这样内积的$n$维线性空间$V$为欧式空间

例子

在$R^n$中，对于

$\alpha =(x_1,x_2,\cdots ,x_n{)}^T,\beta =(y_1,y_2,\cdots ,y_n{)}^T$

若规定$(\alpha ,\beta )={\alpha }^T\beta =x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$

容易验证是$R^n$上的一个内积，从而$R^n$成为一个欧式空间

2.1.2 酉空间⭐️

设$V$是复数域$C$上的$n$维空间，对于$V$中的任意两个向量$\alpha ,\beta$按照某一确定法则对应着一个实数，这个实数称为$\alpha$与$\beta$的内积。记为$(\alpha ,\beta )$,并且要求内积满足下列运算条件：

• $(\alpha ,\beta )=(\overline{\beta ,\alpha })$
• $(k\alpha ,\beta )=k(\alpha ,\beta )$
• $(\alpha +\beta ,r)=(\alpha ,r)+(\beta ,r)$
• $(\alpha ,\alpha )\ge 0$，当且仅当$\alpha =0$时$(\alpha ,\alpha )=0$

定义

设$V$是$n$维酉空间， { α i } \{\alpha_i\} {αi​}为其一组基底，对于$V$中的任意两个向量$\alpha ={\sum }_{i=1}^n{x}_i{\alpha }_i,\beta ={\sum }_{j=1}^n{y}_j{\alpha }_j$

那么$\alpha$与$\beta$的内积为

$(\alpha ,\beta )=({\sum }_{i=1}^n{x}_i{\alpha }_i,{\sum }_{j=1}^n{y}_j{\alpha }_j)={\sum }_{i,j=1}^n{x}_i\overline{y_j}({\alpha }_i,{\alpha }_j)$

酉空间$C^n$的内积定义可以简写为
$$(X,Y)=X{Y}^H$$
酉空间上内积的定义：X和Y的共轭转置相乘

2.1.3 厄米特矩阵⭐️

前期数学准备

设$A\in C^{n\times n}$,用$\overline{A}$表示以$A$中元素的共轭复数为元素组成的矩阵，记为$A^H=(\overline{A}{)}^T$

称$A^H$为$A$的复共轭转置矩阵

性质如下

• $A^H=(\overline{A^T})$
• $(A+B{)}^H=A^H+B^H$
• $(kA{)}^H=\overline{k}{A}^H$
• $(AB{)}^H=B^H{A}^H$
• $(A^k)H=(A^H{)}^k$
• $(A^H{)}^H=A$
• $|\overline{A}|=|\overline{A}|$
• $(A^H{)}^{-1}=(A^{-1}{)}^H$,如果$A$可逆

1) 厄米特矩阵和反厄米特矩阵

如果$A\in C^{n\times n}$,如果 $A^H=A$，那么我们称A为Hermite(厄米特)矩阵

如果$A^H=-A$,那么称$A$为反Hermite(厄米特)矩阵

Hermite矩阵如下图所示
$$\left[\begin{array}{cccc}{a}_1& b_{12}& \cdots & b_{1n}\\ \overline{b_{12}}& a_2& \cdots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ \overline{b_{1n}}& \overline{b_{2n}}& \cdots & a_n\end{array}\right]$$

举例，判断下列矩阵是$H$-矩阵
$$\begin{gathered} 1.\left[\begin{array}{ccc}4i& 2+i& 4+2i\\ -2+i& i& 1\\ -4+2i& -1& -2i\end{array}\right] \\ 2.\left[\begin{array}{ccc}6& 1+2i& 3i\\ 1-2i& 9& 1-i\\ -3i& 1+i& -7\end{array}\right] \end{gathered}$$

2) 厄米特矩阵相关性质

任意$A\in C^{n\times n}$都可以表示为一个$H-$矩阵和一个反$H-$阵之和

$A=\frac{A+A^H}{2}+\frac{A-A^H}{2}$

2.1.4 度量概念

设$V$为欧式空间，向量$\alpha \in V$的长度定义为非负数，$||\alpha ||=\sqrt{(\alpha ,\alpha )}$

例子

$\alpha =(1+2i,-i,3,2+\sqrt{2}i)$

$||\alpha ||=\sqrt{5+1+9+6}=\sqrt{21}$

定义

设$V$为欧式空间，两个非零向量$(\alpha ,\beta )$的夹角定义为

$<\alpha ,\beta >=arcos\frac{(\alpha ,\beta )}{||\alpha ||||\beta ||}$

于是有

$0\le <\alpha ,\beta >\le \pi$

2.1.5 柯西许瓦兹不等式⭐️

设$V$是内积空间，$\alpha ,\beta$是$V$中任两向量，则有
$$|(\alpha ,\beta )|\le ||\alpha ||||\beta ||$$
等号当且仅当$\alpha ,\beta$线性相关时成立

向量长度具有如下性质

• $||\alpha ||\ge 0$,当且仅当$\alpha =0$时，$||\alpha ||=0$
• $||k\alpha ||=|k|||\alpha ||,k\in C$
• $||\alpha +\beta ||\le ||\alpha ||+||\beta ||$
• $|(\alpha ,\beta )|\le ||\alpha ||||\beta ||$

2.2 正交基和子空间的正交关系

在空间$V$中，如果$(\alpha ,\beta )=0$，则称$\alpha$与$\beta$正交，记为$\alpha \perp \beta$

长度为1的向量称为单位向量，对于任何一个非零的向量$\alpha$，向量$\frac{\alpha }{||\alpha ||}$总是单位向量，称此过程为单位化

2.2.1 正交基相关概念

设 { α i } \{\alpha_i\} {αi​}为一组不含有零向量的向量组，如果 { α i } \{\alpha_i\} {αi​}内的任意两个向量彼此正交，则称其为正交向量组

如果一个正交向量组中任何一个向量组都是单位向量，则称此向量组为标准正交向量组

在$n$维内积空间中，由$n$个正交向量组组成的基底称为正交基底，

由$n$个标准的正交向量组成的基底称为标准正交基底

定理

向量组 { α i } \{\alpha_i\} {αi​}为正交向量组的充分必要条件是

$({\alpha }_i,{\alpha }_j)=0,i\ne j$

向量组 { α i } \{\alpha_i\} {αi​}为标准正交向量组的充分必要条件是

$({\alpha }_i,{\alpha }_j)={\delta }_{ij}=\{\begin{array}{ll}1& i=j\\ 0& i\ne j\end{array}$

2.2.2 Schmidt正交化(2步)⭐️

千万别把Smith正交化和后面的Smith标准型搞混了

正交向量组合向量组的关系

正交的向量组是一个线性无关的向量组，反之，由一个线性无关的向量组出发，可以构造一个正交向量组。甚至是一个标准正交向量组

怎么构造呢？？？？—》这就是Schmidt正交化

Schmidt正交化与单位化过程：

设 { α 1 , α 2 , ⋯   , α r } \{\alpha_1,\alpha_2,\cdots,\alpha_r\} {α1​,α2​,⋯,αr​}为$n$维内积空间$V$中$r$个线性无关的向量，利用这$r$个线性无关的向量，利用这$r$个向量可以构造与之等价的一个标准正交向量组，而且 s p a n { α 1 , α 2 , ⋯   , α r } span\{\alpha_1,\alpha_2,\cdots,\alpha_r\} span{α1​,α2​,⋯,αr​}的一个标准正交基

1) 正交化

$$\begin{gathered} {\beta }_1={\alpha }_1 \\ {\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1 \\ ⋮ \\ {\beta }_r={\alpha }_r-\frac{({\alpha }_r,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\cdots -\frac{({\alpha }_r,{\beta }_{r-1})}{({\beta }_{r-1},{\beta }_{r-1})}{\beta }_{r-1} \end{gathered}$$

2) 单位化

${\eta }_1=\frac{{\beta }_1}{||{\beta }_1||},{\eta }_2=\frac{{\beta }_2}{||{\beta }_2||},\cdots ,{\eta }_r=\frac{{\beta }_r}{||{\beta }_r|}$

显然， { η 1 , η 2 , ⋯   , η r } \{\eta_1,\eta_2,\cdots,\eta_r\} {η1​,η2​,⋯,ηr​}是一组标准的正交向量组

例子

2.3 正交(酉)变换⭐️

2.3.1 酉矩阵和正交矩阵

酉矩阵

设$A$为一个$n$阶复矩阵，如果满足$A^{H}A=A{A}^H=I$

则称$A$为酉矩阵，一般记作$A\in U^{n\times n}$

$A$是酉矩阵的充要条件是$A$的每个特征值${\lambda }_i$的模$|{\lambda }_i|=1$

正交矩阵

设$A$为一个$n$阶实矩阵，如果其满足$A^{T}A=A{A}^T=I$

则称$A$为正交矩阵，一般记作$A\in E^{n\times n}$

例子
$$\begin{gathered} 1.\left[\begin{array}{ccc}0& \frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\\ 1& 0& 0\\ 0& -\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right] \\ 2.\left[\begin{array}{ccc}-\frac{2}{3}& -\frac{1}{3}& \frac{2}{3}\\ \frac{2}{3}& -\frac{2}{3}& \frac{1}{3}\\ \frac{1}{3}& \frac{2}{3}& \frac{2}{3}\end{array}\right] \\ 3.\left[\begin{array}{cc}cos\theta & -sin\theta \\ sin\theta & cos\theta \end{array}\right] \\ 4.\left[\begin{array}{ccc}-cos\theta & 0& isin\theta \\ 0& 1& 0\\ i\sin \theta & 0& -\cos \theta \end{array}\right] \end{gathered}$$
前三个都是正交矩阵

第四个为酉矩阵

总结

设$A\in E^{3\times 3}$，那么
$$T^{-1}AT=\left[\begin{array}{ccc}a& 0& 0\\ 0& \cos \theta & -\sin \theta \\ 0& \sin \theta & \cos \theta \end{array}\right]$$
这里当$|A|=1$时，$a=1$，当$|A|=-1$时，$a=1$

性质

定理

设$A\in C^{n\times n}$，$A$是一个酉矩阵(正交矩阵)的充分必要条件为$A$的$n$个列(或行)向量组是标准正交向量组

2.3.2 酉相似

设给定$A,B$，若果存在一个酉矩阵$U\in C$,使得$U^{-1}AU=U^{H}AU=B$，我们称$A$和$B$酉相似。

如果$U$可以取为实数，那我们就说$A$和$B$实正交相似。

如果$A$与一个对角矩阵酉相似，我们称$A$可以酉对角化。

如果$A$与一个对角矩阵实正交相似，我们称$A$可以实正交对角化

2.3.3 正交变换的判定

设$T$是内积空间$V$的线性变换，若$T$能保持$V$中向量内积不变，即对任何$(\alpha ,\beta )\in V$，都有
$$(T\alpha ,T\beta )=(\alpha ,\beta )$$
则线性变换$T$称为$V$的一个正交变换。(即变换后，内积不变)

2.4 正规矩阵

2.4.1 正规矩阵概念

设$A\in C^{n\times n}$,且$A^{H}A=A{A}^H$，那么我们称矩阵$A$为一个正规矩阵

设$A\in R^{n\times n}$,且$A{A}^T=A^{T}A$，那么我们称矩阵$A$为一个实正规矩阵

例子

$\left[\begin{array}{cc}1& -1\\ 1& 1\end{array}\right]$为实正规矩阵

$H-$矩阵，反$H-$矩阵，正交矩阵，酉矩阵，对角矩阵都是正规矩阵

2.4.2 正规矩阵性质

• 设$A$是一个正规矩阵，则与$A$酉相似的矩阵一定是正规矩阵
• 设$A$是一个正规矩阵且又是三角矩阵，则$A$必为对角矩阵

---

设$A$是一个正规矩阵

• A是厄米特的充要条件是：$A$的特征值全为实数
• $A$是反厄米特矩阵的充要条件是:A的特征值为零或纯虚数
• A是酉矩阵的充要条件是$A$的特征值的模长为1

2.4.3 正规矩阵的结构定理

根据第三章的舒尔定理，可以证明

矩阵$A\in C^{n\times n}$,为正规矩阵的充要条件是:存在酉矩阵$Q$，使得$A$酉相似与对角形矩阵
$$Q^{H}AQ=Q^{-1}AQ=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]$$
其中${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是$A$的特征值

推论，可以出判断题

• n阶正规矩阵有n个线性无关的特征向量(必要不充分)
• 可对角化的矩阵不一定可酉对角化
• 正规矩阵属于不同特征值的特征向量彼此正交

2.5 最小二乘⭐️

根据我们在本科学的知识点，求$Ax=b$

当$r(A)=r(A|b)$时，我们才有解？？

但是大多数实际情况，是无解的情况，

我们想求出一个最靠近答案的解？？

使得$||Ax-b|{|}_2$最小

下面直接给答案

$A^{T}Ax=A^{T}B$就是最小二乘解

、例子
$$\{\begin{array}{l}{x}_1+x_2=1\\ x_1+x_3=2\\ x_1+x_2+x_3=0\\ x_1+2x_2-x_3=-1\end{array}$$
解如下
$$\begin{gathered} A=\left[\begin{array}{ccc}1& 1& 0\\ 1& 0& 1\\ 1& 1& 1\\ 1& 2& -1\end{array}\right],A^T=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 0& 1& 2\\ 0& 1& 1& -1\end{array}\right],B=\left[\begin{array}{c}1\\ 2\\ 0\\ -1\end{array}\right] \\ so{A}^{T}AX=\left[\begin{array}{ccc}4& 4& 1\\ 4& 6& -1\\ 1& -1& 3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}2\\ -1\\ 3\end{array}\right]=A^{T}B \\ {x}_1=\frac{17}{6},x_2=-\frac{13}{6},x_3=-\frac{4}{6} \end{gathered}$$

2.6 正交投影变换(书上没有-不用看)

2.6.1 幂等矩阵

设$A\in C^{n\times n}$，如果$A$满足$A^2=A$则称$A$是一个幂等矩阵

性质

• $A^T,A^H,I-A,I-A^T,I-A^H$都是幂等矩阵

• $A(I-A)=(I-A)A=0$

• $N(A)=R(I-A)$

• $Ax=x$的充分必要条件是$x\in R(A)$

• $C^n=R(A)\oplus N(A)$,$x=Ax+(x-Ax)$

  R(A)指的是A的值域,N(A)是其零空间

• $N(A)=R(I-A)$

  如果$x\in N(A)$,则有$Ax=0$

  可知$x-Ax=x-0=x$，整理为$(I-A)x=x$

  因此$x\in R(I-A)$，即可得$N(A)\subseteq R(I-A)$

幂等矩阵的结构定理

设$A$是一个秩为$r$的$n$阶矩阵，那么$A$为一个幂等矩阵的充分必要条件是存在$P\in C_n^{n\times n}$使得

$P^{-1}AP=\left[\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right]$

设$A$是一个$n$阶幂等矩阵，则有

$Tr(A)=rank(A)$

幂矩阵与投影变换

设$S,T$是$n$维酉空间$V$的两个子空间，且$V=S\oplus T$，则对于$V$中任一向量$\alpha$均可唯一的表示为

$\alpha =x+y,x\in S,y\in T$

则称$x$是$\alpha$沿$T$到$S$的投影，$y$是$\alpha$沿$S$到$T$的投影

由上式确定的线性变换$$\begin{gathered} \tau :V\to S\subseteq V \\ \tau (\alpha )=x \end{gathered}$$

称为$V$沿$T$到$S$的投影变换

定理

设$A$是一个$n$阶幂等矩阵，则线性变换$\tau (\alpha )=A\alpha ,\forall \alpha \in C^n$

是$C^n$沿着$N(A)$到$R(A)$的投影变换

提示：$C^n=R(A)\oplus N(A),\alpha =A\alpha +(\alpha -A\alpha )$,其中$A\alpha \in R(A),(\alpha -A\alpha )\in N(A)$

定理

设$\tau$是$n$维酉空间$V$上的线性变换，则下列命题等价

• $\tau$是$V$上的投影变换
• ${\tau }^2=\tau$
• $\tau$的矩阵表示$A$满足$A^2=A$

2.6.2 概念

正交补

正交投影变换

设$A$是一个$n$阶幂等的$H-$矩阵，则线性变换

$\sigma (\alpha )=A\alpha ,\forall \alpha \in C^n$

是$C^n$到$R(A)$的正交投影变换

正交投影是指像空间U和零空间W相互正交子空间的投影。

2.6.3 总结

为什么投影变换和正交投影变换的区别是幂等矩阵是否是Hermite矩阵？

投影变换的充要条件是A^2=A，
正交投影变换的充要条件是A^2=A，且A是Hermite矩阵。

2.7 厄米特二次型