《矩阵理论》大萌课程笔记 - 内积空间

《矩阵理论》大萌课程笔记 - 内积空间

---

总目录

章节名称与链接
线性空间与线性变换	线性空间与子空间
	有限维线性空间、基、维数
	线性变换
内积空间
特征值与特征向量
特殊矩阵
矩阵分解
矩阵函数

---

声明

  本专栏博客用于记录上海交通大学研究生课程《矩阵理论》笔记，课程任教老师为邓大萌老师。所有内容均为博主个人的课堂笔记，包括课堂例题与证明。如有不妥、错误之处欢迎大家指正。

---

---

1 回顾已学的內积

1.1 $R^n$的內积

定义：$\alpha =(x_1,x_2,...,x_n),\beta =(y_1,y_2,...,y_n),\alpha ,\beta \in R^n$，则称$(\alpha ,\beta )={\Sigma }_{i=1}^n{x}_i\cdot y_i\in R$是$\alpha ,\beta$的內积。

运算性质（交换、分配、正定）：

• $(\alpha ,\beta )=(\beta ,\alpha )$
• $(\alpha +\gamma ,\beta )=(\alpha ,\beta )+(\gamma ,\beta )$
• $(k\cdot \alpha ,\beta )=k\cdot (\alpha ,\beta )$
• $(\alpha ,\alpha )\ge 0iff\alpha =0,等号成立$

1.2 $C^n$的內积

定义：$\alpha =(x_1,x_2,...,x_n),\beta =(y_1,y_2,...,y_n),\alpha ,\beta \in C^n$，则称$(\alpha ,\beta )={\Sigma }_{i=1}^n\overline{y_i}\cdot x_i\in C$是$\alpha ,\beta$的內积。

运算性质：

• $(\alpha ,\beta )=\overline{(\beta ,\alpha )}$
• $(\alpha +\gamma ,\beta )=(\alpha ,\beta )+(\gamma ,\beta )$
• $(k\cdot \alpha ,\beta )=k\cdot (\alpha ,\beta )$
• $(\alpha ,\alpha )\ge 0iff\alpha =0,等号成立$

2 线性空间的內积

2.1 內积定义、判别与性质

定义：$\alpha ,\beta \in V,({\alpha }_1,{\alpha }_2,...,{\alpha }_n)是V的一组基，\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot (x_1,x_2,...,x_n{)}^T,\beta =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot (y_1,y_2,...,y_n{)}^T,$，则称$(\alpha ,\beta )={\Sigma }_{i=1}^n\overline{y_i}\cdot x_i\in F$是$\alpha ,\beta$的內积。

判别：

• 满足定义的$V\times V\to F$这一映射关系；
• 满足四条运算性质；

例：$\forall f(x),g(x)\in P_n[R],判别(f(x),g(x))={\int }_0^{1}f(x)g(x)dx是否为f(x),g(x)的內积？$

解：易识别$(f(x),g(x))\in R$，满足內积定义的映射关系；

又：$(f(x),g(x))={\int }_0^{1}f(x)g(x)dx={\int }_0^{1}g(x)f(x)dx=\overline{(g(x),f(x))}$

$(f(x)+h(x),g(x))={\int }_0^1(f(x)+h(x))g(x)dx={\int }_0^{1}f(x)g(x)dx+{\int }_0^{1}h(x)g(x)dx=(f(x),g(x))+(h(x),g(x))$

$(k\cdot f(x),g(x))={\int }_0^{1}k\cdot f(x)g(x)dx=k\cdot {\int }_0^{1}f(x)g(x)dx=k\cdot (f(x),g(x))$

$(f(x),f(x))={\int }_0^1{f}^2(x)dx\ge 0ifff(x)=0,等号成立$

均满足四个运算性质；

因此$(f(x),g(x))={\int }_0^{1}f(x)g(x)dx是f(x),g(x)$的內积

性质：

1）设$\gamma$向量固定，定义变换$\sigma :V\to F,\sigma (\alpha )=(\alpha ,\gamma )\Rightarrow \sigma$是线性变换

2）$(0,\alpha )=0$

3）$(\alpha ,\beta +\gamma )=\overline{(\beta +\gamma ,\alpha )}=\overline{(\beta ,\alpha )}+\overline{(\gamma ,\alpha )}=(\alpha ,\beta )+(\alpha ,\gamma )$

4）$(\alpha ,k\cdot \beta )=\overline{(k\cdot \beta ,\alpha )}=\overline{k}\cdot \overline{(\beta ,\alpha )}=\overline{k}\cdot (\alpha ,\beta )$

5）$({\Sigma }_{i=1}^n{x}_i{\alpha }_i,{\Sigma }_{i=1}^m{y}_j{\beta }_j)={\Sigma }_{i=1}^n{\Sigma }_{i=1}^m{x}_i{\overline{y}}_i({\alpha }_i,{\beta }_i)$

2.2 向量长度

定义：

$\forall \alpha \in V,||\alpha ||=\sqrt{(\alpha ,\alpha )}$

性质：

1）$||k\cdot \alpha ||=k\cdot ||\alpha ||$

2）Cauchy-Schwarz不等式：$|(\alpha ,\beta )|\le ||\alpha ||\cdot ||\beta ||$，当$\alpha =k\cdot \beta$时等号成立。

证明：取两个不共线的向量$\alpha ,\beta \in V$,设$\beta$在$\alpha$的投影为$c\cdot \alpha$，则$\beta -c\cdot \alpha$与$\alpha$正交(在此提前使用正交概念)

$\Rightarrow (\beta -c\alpha ,\alpha )=0\Rightarrow c=\frac{(\beta ,\alpha )}{(\alpha ,\alpha )}\cdot \alpha$

从几何意义上看，$\beta ,\frac{(\beta ,\alpha )}{(\alpha ,\alpha )}\cdot \alpha ,\beta -\frac{(\beta ,\alpha )}{(\alpha ,\alpha )}\cdot \alpha$三者满足勾股定理

$\Rightarrow ||\beta |{|}^2=||\frac{(\beta ,\alpha )}{(\alpha ,\alpha )}\cdot \alpha |{|}^2+||\beta -\frac{(\beta ,\alpha )}{(\alpha ,\alpha )}\cdot \alpha |{|}^2\ge ||\frac{(\beta ,\alpha )}{(\alpha ,\alpha )}\cdot \alpha |{|}^2=|\frac{(\beta ,\alpha )}{(\alpha ,\alpha )}{|}^2\cdot ||\alpha |{|}^2=\frac{|(\beta ,\alpha ){|}^2}{||\alpha |{|}^2}$

$\Rightarrow |(\beta ,\alpha ){|}^2\le ||\alpha |{|}^2\cdot ||\beta |{|}^2$

$\Rightarrow |(\alpha ,\beta )|\le ||\alpha ||\cdot ||\beta ||$

证毕。

3）几何定理：$||\alpha +\beta ||\le ||\alpha ||+||\beta ||$

证明：

$||\alpha +\beta |{|}^2=(\alpha +\beta ,\alpha +\beta )=(\alpha ,\alpha )+(\beta +\beta )+(\alpha ,\beta )+(\beta ,\alpha )=||\alpha |{|}^2+||\beta |{|}^2+(\alpha ,\beta )+(\beta ,\alpha )$

$\Rightarrow |(\alpha +\beta ,\alpha +\beta )|=|||\alpha |{|}^2+||\beta |{|}^2+(\alpha ,\beta )+(\beta ,\alpha )|\le ||\alpha |{|}^2+||\beta |{|}^2+2|(\alpha ,\beta )|$

又由Cauchy-Schwarz不等式得：$|(\alpha ,\beta |)\le ||\alpha ||\cdot ||\beta ||$

$\Rightarrow ||\alpha +\beta |{|}^2=(\alpha +\beta ,\alpha +\beta )\le ||\alpha |{|}^2+||\beta |{|}^2+2|(\alpha ,\beta )|\le ||\alpha |{|}^2+||\beta |{|}^2+2||\alpha ||\cdot ||\beta ||=(||\alpha ||+||\beta ||{)}^2$

$\Rightarrow ||(\alpha +\beta )||\le ||\alpha ||+||\beta ||$

例：证明平行四边形对角线长度与四条边长度的关系。

证明：
设同一顶点出发的两条边构成的向量分别为$\alpha ,\beta$，则对角线可以表示为$\alpha +\beta ,\alpha -\beta$

$\Rightarrow ||\alpha +\beta |{|}^2+||\alpha -\beta |{|}^2=(\alpha +\beta ,\alpha +\beta )+(\alpha -\beta ,\alpha -\beta )=2||\alpha |{|}^2+2||\beta |{|}^2$

2.3 向量正交

2.3.1 相关概念

正交：$\alpha ,\beta \in V,(\alpha ,\beta )=0$则称$\alpha ,\beta$正交

正交向量组：${\alpha }_1,{\alpha }_2,...,{\alpha }_k\in V,({\alpha }_i,{\alpha }_j)=0,1\le i<j\le k$则称$({\alpha }_1,{\alpha }_2,...,{\alpha }_k)$是一组正交向量组

标准正交组：${\alpha }_1,{\alpha }_2,...,{\alpha }_k\in V,({\alpha }_i,{\alpha }_j)=0,({\alpha }_i,{\alpha }_i)=1,1\le i<j\le k$**则称$({\alpha }_1,{\alpha }_2,...,{\alpha }_k)$是一组标准正交组

标准正交基：${\alpha }_1,{\alpha }_2,...,{\alpha }_n\in V,({\alpha }_i,{\alpha }_j)=0,({\alpha }_i,{\alpha }_i)=1,1\le i<j\le n$则称$({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$是一组标准正交基

（注：正交向量组线性无关）

2.3.2 斯密特正交化

  任给一组线性无关组${\alpha }_1,{\alpha }_2,...,{\alpha }_n$可通过以下计算过程化为一组正交向量组${\beta }_1,{\beta }_2,...,{\beta }_n$与一组标准正交基${\gamma }_1,{\gamma }_2,...,{\gamma }_n$

${\beta }_1={\alpha }_1$

${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}\cdot {\beta }_1$

$...$

${\beta }_n={\alpha }_n-\frac{({\alpha }_n,{\beta }_1)}{({\beta }_1,{\beta }_1)}\cdot {\beta }_1-\frac{({\alpha }_n,{\beta }_2)}{({\beta }_2,{\beta }_2)}\cdot {\beta }_2-...-\frac{({\alpha }_n,{\beta }_{n-1})}{({\beta }_1,{\beta }_{n-1})}\cdot {\beta }_{n-1}$

${\gamma }_i=\frac{{\beta }_i}{||{\beta }_i||},1\le i\le n$

2.3.3 正交补空间

定义：设$V$是内积空间，$U$是$V$的子空间，定义 U ⊥ = { α ∣ α ∈ V , ∀ β ∈ U , ( α , β ) = 0 } U^{\bot}=\{\alpha|\alpha\in V,\forall \beta\in U,(\alpha,\beta)=0\} U⊥={α∣α∈V,∀β∈U,(α,β)=0}则有结论$V=U\oplus U^{\perp }$

证明：
设${\alpha }_1,{\alpha }_2,...,{\alpha }_k$是$U$的一组标准正交基，将${\alpha }_1,{\alpha }_2,...,{\alpha }_k$扩展到$V$的一组标准正交基为$({\alpha }_1,{\alpha }_2,...,{\alpha }_k,{\alpha }_{k+1},...,{\alpha }_n)$，设$W=Span({\alpha }_{k+1},{\alpha }_{k+2},...,{\alpha }_n)$，则$V=U\oplus W$

$\alpha \in U,\forall \beta \in W$有$\alpha =x_1\cdot {\alpha }_1+x_2\cdot {\alpha }_2+...+x_k\cdot {\alpha }_k,\beta =x_{k+1}\cdot {\alpha }_{k+1}+x_{k+2}\cdot {\alpha }_{k+2}+...+x_n\cdot {\alpha }_n$

$\Rightarrow (\alpha ,\beta )=({\Sigma }_{i=0}^k{x}_i\cdot {\alpha }_i,{\Sigma }_{j=k+1}^n{x}_j\cdot {\alpha }_j)={\Sigma }_{i=0}^k{\Sigma }_{j=k+1}^n(x_i\cdot {\alpha }_i,x_j\cdot {\alpha }_j)={\Sigma }_{i=0}^k{\Sigma }_{j=k+1}^n{x}_i\cdot {\overline{x}}_j\cdot ({\alpha }_i,{\alpha }_j)=0$

$\Rightarrow W=U^{\perp }$

证毕。

2.3.4 正交投影变换

定义：对于內积空间$V$，存在子空间$U$与正交补空间$U^{\perp },V=U\oplus U^{\perp },P:V\to V\Rightarrow \forall \alpha \in V,\exists \beta \in U,\gamma \in U^{\perp },\alpha =\beta +\gamma$，令$P(\alpha )=\beta$，称变换$P$为投影变换。

性质：

1）$nullP=U^{\perp },rangeP=U$

2）$P^2=P$且$P^{\ast }=P$

3）$\star \star$设$e_1,e_2,...,e_k$是$U$的一组标准正交基，$\beta =x_1\cdot e_1+x_2\cdot e_2+...+x_k\cdot e_k$，$x_i=(\alpha ,e_i)$

​ （系数即投影）

2.3.5 最佳近似向量

定义：对于內积空间$V$，$U$是$V$的子空间，$\beta \in V,\beta \notin U,\forall \gamma \in U,\exists \alpha \in U,||\beta -\alpha ||\le ||\beta -\gamma ||$则称$\alpha 是\beta$的最佳近似向量，$\alpha$就是$\beta$在$U$空间的投影。

例1：$Ax=b$是一个矛盾方程组（说明b向量不在A的列空间中），求该方程组的最佳近似解。

解：等价于求解$b$在A的列空间$ C(A)$中的最佳近似解$b_0$，再求解方程$Ax_0=b_0$的解；

​ $\Rightarrow b-A{x}_0\in C(A{)}^{\perp }=N(A^T)\Rightarrow A^T(b-A{x}_0)=0\Rightarrow A^{T}A{x}_0=A^{T}b$

​ 求解$A^{T}A{x}_0=A^{T}b$方程就可以求解出近似解$x_0$

例2(作业2)： V = P 3 [ R ] , U = { f ( x ) = P 3 [ R ] : f ( 0 ) = 0 , f ′ ( 0 ) = 0 } V=P_3[R],U=\{f(x)=P_3[R]:f(0)=0,f'(0)=0\} V=P3​[R],U={f(x)=P3​[R]:f(0)=0,f′(0)=0}，求$U$上一个向量$f(x)$使的${\int }_0^1|2+3x-f(x){|}^{2}dx$最小。

解：易知$U=Span(x^2,x^3)$

​ 用斯密特正交化法化成标准正交基表示为：$U=Span(\sqrt{5}{x}^2,6\sqrt{7}{x}^3-5\sqrt{7}{x}^2)$

​ 定义内积$f(x),g(x)\in V,(f(x),g(x))={\int }_0^{1}f(x)g(x)dx$，设$g(x)=2+3x\Rightarrow g(x)\notin U$

​ $\Rightarrow min({\int }_0^1|2+3x-f(x)|dx)⟺min(||g(x)-f(x)||)$

​ $⟺$求解$g(x)$在$f(x)$上的最佳近似向量，设$f(x)=a_1\sqrt{5}{x}^2+a_2(6\sqrt{7}{x}^3-5\sqrt{7}{x}^2)\Rightarrow a_1=(g(x),\sqrt{5}{x}^2),a_2=(g(x),6\sqrt{7}{x}^3-5\sqrt{7}{x}^2)$

​ $\Rightarrow ...$

例3(作业3)：在$P_3[R]$中求一个多项式$f(x)$，使得${\int }_{-\pi }^{\pi }|cosx-f(x){|}^{2}dx$最小。

步骤：

1. 先求$U$的斯密特标准正交基；
2. 显示表示最佳近似解；
3. 根据内积求系数；

2.4 度量矩阵

定义：$V$是一个内积空间，${\alpha }_1,{\alpha }_2,...,{\alpha }_n$是$V$的一组基，取$\alpha ,\beta \in V,\alpha =x_1{\alpha }_1+x_2{\alpha }_2+...+x_n{\alpha }_n,\beta =y_1{\alpha }_1+y_2{\alpha }_2+...+y_n{\alpha }_n$

$\Rightarrow (\alpha ,\beta )=({\Sigma }_{i=1}^n{x}_i{\alpha }_i,{\Sigma }_{j=1}^n{y}_j{\alpha }_j)={\Sigma }_{i=1}^n{\Sigma }_{j=1}^n{x}_i\overline{y_j}({\alpha }_i,{\alpha }_j)=(\overline{y_1},\overline{y_2},...,\overline{y_n})\left[\begin{array}{cccc}({\alpha }_1,{\alpha }_1)& ({\alpha }_2,{\alpha }_1)& ...& ({\alpha }_n,{\alpha }_1)\\ ({\alpha }_1,{\alpha }_2)& ({\alpha }_2,{\alpha }_2)& ...& ({\alpha }_n,{\alpha }_2)\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ ({\alpha }_1,{\alpha }_n)& ({\alpha }_2,{\alpha }_n)& ...& ({\alpha }_n,{\alpha }_n)\end{array}\right](x_1,x_2,...,x_n{)}^T$

其中$G=\left[\begin{array}{cccc}({\alpha }_1,{\alpha }_1)& ({\alpha }_2,{\alpha }_1)& ...& ({\alpha }_n,{\alpha }_1)\\ ({\alpha }_1,{\alpha }_2)& ({\alpha }_2,{\alpha }_2)& ...& ({\alpha }_n,{\alpha }_2)\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ ({\alpha }_1,{\alpha }_n)& ({\alpha }_2,{\alpha }_n)& ...& ({\alpha }_n,{\alpha }_n)\end{array}\right]$为$\alpha ,\beta$的度量矩阵。

性质1：

易知$G$是共轭对称矩阵(Hermite阵)；

又因为$x^{\ast }Gx>0\Rightarrow G$是正定矩阵；

总结：度量矩阵是共轭对称的正定矩阵

性质2：

当${\alpha }_1,{\alpha }_2,...,{\alpha }_n$是标准正交基时，$G=I$;

性质3：

$V$在两组不同基下的度量矩阵是合同关系，即：$P^{\ast }AP=B,A,B$分别是两组基下的度量矩阵，$P$是两组基的过渡矩阵。

证明(作业4)：

设${\alpha }_1,{\alpha }_2,...,{\alpha }_n$以及${\beta }_1,{\beta }_2,...,{\beta }_n$是$V$的两组基，基下的度量矩阵分别是$A,B,\forall \alpha ,\beta \in V,({\alpha }_1,{\alpha }_2,...,{\alpha }_n)=({\beta }_1,{\beta }_2,...,{\beta }_n)\cdot P,P$为过度矩阵

$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)X_1=({\beta }_1,{\beta }_2,...,{\beta }_n)\cdot P\cdot X_1$

$\beta =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)Y_1=({\beta }_1,{\beta }_2,...,{\beta }_n)\cdot P\cdot Y_1$

$\alpha =({\beta }_1,{\beta }_2,...,{\beta }_n)X_2,\beta =({\beta }_1,{\beta }_2,...,{\beta }_n)Y_2$

$\Rightarrow X_2=P{X}_1,Y_2=P{Y}_1,(\alpha ,\beta )=Y_1^{\ast }A{X}_1=Y_2^{\ast }B{X}_2=(P{Y}_1{)}^{\ast }B(P{X}_1)=Y_1^{\ast }(P^{\ast }BP)X_1$

$\Rightarrow A=P^{\ast }BP$，证毕。

2.5 内积矩阵的特殊线性变换

2.5.1 伴随变换

定义：设V是内积空间，$\sigma ,\tau \in L(V),\forall \alpha ,\beta \in V,(\sigma (\alpha ),\beta )=(\alpha ,\tau (\beta ))$，则称$\tau 是\sigma$的伴随变换

等价含义：

设$({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$是$V$的一组标准正交基，

$\alpha =x_1{\alpha }_1+x_2{\alpha }_2+...+x_n{\alpha }_n=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot X$

$\beta =y_1{\alpha }_1+y_2{\alpha }_2+...+y_n{\alpha }_n=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot Y$

$\sigma ({\alpha }_1,{\alpha }_2,...,{\alpha }_n)=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot A$

$\tau ({\alpha }_1,{\alpha }_2,...,{\alpha }_n)=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot B$

其中$A,B$分别是$\sigma ,\tau$在$({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$下的矩阵

$\Rightarrow$

$\sigma (\alpha )=\sigma ({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot (x_1,x_2,...,x_n{)}^T=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot AX$

$\tau (\beta )=\tau ({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot (y_1,y_2,...,y_n{)}^T=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot BY$

标准正交基的度量矩阵为单位矩阵

$\Rightarrow$

$(\sigma (\alpha ),\beta )=Y^{\ast }AX$

$(\alpha ,\tau (\beta ))=(BY{)}^{\ast }X=Y^{\ast }{B}^{\ast }A$

$(\sigma (\alpha ),\beta )=(\alpha ,\tau (\beta ))\Rightarrow A=B^{\ast }$

重要结论：伴随变换基下的矩阵互为共轭转置

2.5.2 等积变换

定义：设V是内积空间，$\sigma \in L(V),\forall \alpha ,\beta \in V,(\alpha ,\beta )=(\sigma (\alpha ),\sigma (\beta ))$

性质：以下命题等价

1）$\sigma \in L(V)$是等积变换

2）$\sigma \in L(V)$是等距变换：$||\alpha -\beta ||=||\sigma (\alpha )-\sigma (\beta )||$

3）$\sigma \in L(V)$是等长变换：$||\alpha ||=||\sigma (\alpha )||$

4）$\sigma \in L(V)$是正交变换：$(e_1,e_2,...,e_n)是V$的一组标准正交基，则$(\sigma ({\alpha }_1),\sigma ({\alpha }_2),...,\sigma ({\alpha }_n))$也是一组标准正交基

5）$(e_1,e_2,...,e_n)是V$的一组标准正交基，$\sigma (e_1,e_2,...,e_n)=(e_1,e_2,...,e_n)\cdot A\Rightarrow A^{\ast }A=A{A}^{\ast }=E$（$A$是正交矩阵）

注：$A$是正交矩阵$⟺$$A$是酉矩阵$(A^{\ast }=A^{-1})$