《矩阵理论》笔记 1 — 线性空间与线性变换

矩阵论-线性空间与线性变换

一、线性空间

1、线性空间

1.1 向量空间

向量空间：若$V$是$n$维向量的非空集合，且对集合内向量的加法和数乘 运算封闭，即 运算结果仍属于集合，则称$V$为向量空间 。

• 由于向量运算的需要，向量空间需要一个数集来支持，该数集对加、减、乘、除（除数不为零）封闭。

• 数域：对加、减、乘、除封闭的包含非零元素的数集 称为数域。有 有理数域Q，实数域R，复数域C。 任何数域都包含0、1。

• 向量空间 $V$ 必伴随一个数域 $P$ 。

1.2 线性空间

线性空间定义：（2+8）

•  $V$是非空集合，$P$是一个数域。

•  加法封闭运算，数乘封闭运算。

•  满足以下八个条件：(交结零负，一结分分。–> 我结交富邻，别人见状也纷纷一同去结交。)

  •   $x+y=y+x$（加法的交换律）
  •   $(x+y)+z=x+(y+z)$（加法的结合律）
  •   $V$中有一个元素$0$（称为$V$的零元素），对$V$中任何元素$x$，有$x+0=x$
  •   对$V$中的任何元素$x$，存在$V$中元素$y$，使$x+y=0$（$y$称为$x$的负元素，记为$-x$）
  •   $1x=x$
  •   $\lambda (\mu x)=(\lambda \mu )x=\mu (\lambda x)$（数乘的结合律）
  •   $(\lambda +\mu )x=\lambda x+\mu x$ （数乘对加法的分配律）
  •   $\lambda (x+y)=\lambda x+\lambda y$ （数乘对加法的分配律）

以上2+8满足，则称 $V$为 数域 $P$ 上的线性空间。

1.3 线性空间典型例子

• 向量空间是线性空间
• 数域 $P$ 上的 $n$ 维（行或列，不加声明均指列） 向量空间 $P^n$ 。按 $n$ 维向量的线性运算， $P^n$ 构成数域 $P$ 上的线性空间。
• 数域 P上的多项式空间 $P[x]$。按多项式的线性运算， $P[x]$ 构成数域 $P$ 上的线性空间。

2、 线性空间的基和维数

2.1 线性组合

线性空间中的若干向量经过数乘再求和，称为这些向量的线性组合。

2.2 线性相关与线性无关

设$x_1,x_2,...,x_r$为 数域$P$上的线性空间$V$中的一组向量。若$P$中 存在（不存在） 一组不全为的0 数${\lambda }_1,{\lambda }_2,...,{\lambda }_r$ 满足：
$${\lambda }_1{x}_1+{\lambda }_2{x}_2+...+{\lambda }_r{x}_r=0$$
则称向量组$x_1,x_2,...,x_r$ 线性相关（线性无关）。

2.3 基和维数

• 当向量组 $x_1,x_2,...,x_r$ 线性无关，且$V$中任何向量都可用向量组 $x_1,x_2,...,x_r$ 线性表示。
• 向量组 $x_1,x_2,...,x_r$ 为 $V$ 的一组基，$n$ 为 $V$ 的维数， 记为 $dimV$ 。维数有限时，$V$是有限维线性空间，否则是无限维线性空间。
• 一个无限多个向量的集合可以有极大无关组，但此集合并不一定构成线性空间。线性空间的基一定是极大线性无关组，但一个极大线性无关组(即使是无限多个向量集合中的极大线性无关组)并不一定是基。换言之，极大线性无关组与基的概念并不等价。

2.4 坐标

向量组 $x_1,x_2,...,x_r$ 为 $V$ 的一组基， 对 $V$ 的任一向量 $y$ ，必存在 一组数 ${\lambda }_1,{\lambda }_2,...,{\lambda }_r$，使得
$$y={\lambda }_1{x}_1+{\lambda }_2{x}_2+...+{\lambda }_n{x}_n=(x_1,x_2,...,x_n)\left(\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_n\end{array}\right)$$

那么，$({\lambda }_1,{\lambda }_2,...,{\lambda }_r{)}^T$ 为 $y$ 在基 $x_1,x_2,...,x_r$ 下的坐标。

• 任何向量在给定基下的坐标是唯一的。

3. 基变换和坐标变换

线性空间可以有许多不同的基，同一向量在不同基下一般坐标不同。
（1）过度矩阵： 若$x_1,x_2,...,x_n$ 和 $y_1,y_2,...,y_n$ 是线性空间$V$下两组不同的基。且可以写成

$$(y_1,y_2,...,y_n)=(x_1,x_2,...,x_n)\left[\begin{array}{cccc}{p}_{11}& p_{12}& \cdots & p_{1n}\\ p_{21}& p_{22}& \cdots & P_{2n}\\ ⋮& ⋮& & ⋮\\ p_{n1}& p_{n2}& \cdots & p_{nn}\end{array}\right]$$

其中 $P=(p_{ij}{)}_{n\times n}$。$P$为从基$x_1,x_2,...,x_n$ 到基$y_1,y_2,...,y_n$的过度矩阵。

（2）基变换公式：$(y_1,y_2,...,y_n)$ $=$ $(x_1,x_2,...,x_n)P$ 被称为基变换公式。

（3）坐标变换公式：
某向量 在基 $x_1,x_2,...,x_n$下 坐标为 $({\lambda }_1,{\lambda }_2,...,{\lambda }_n{)}^T$
    在基 $y_1,y_2,...,y_n$ 下 坐标为 $({\mu }_1,{\mu }_2,...,{\mu }_n{)}^T$
有 $$(x_1,x_2,...,x_n)\left(\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_n\end{array}\right)=(y_1,y_2,...,y_n)\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_n\end{array}\right)=（代入基变换公式）(x_1,x_2,...,x_n)P\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_n\end{array}\right)$$

可得：$$\left(\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_n\end{array}\right)=P\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_n\end{array}\right)$$ ，称为坐标变换公式。

4. 线性空间的同构

$V$和$V^{\prime }$都是数域$P$上的线性空间。它们的元素一一对应，即$x\leftrightarrow x^{\prime }$。
若$x\leftrightarrow x^{\prime }$，$y\leftrightarrow y^{\prime }$时 ，有$x+y\leftrightarrow x^{\prime }+y^{\prime }$，$kx\leftrightarrow k{x}^{\prime }(k\in P)$，那么线性空间$V$和$V^{\prime }$是同构的，且称它们的元素一一对应也是同构对应。

4.1 等价关系

二元关系满足
（1）反身性：$A$ ~ $A$；
（2）对称性：$A$ ~ $B$ $\Rightarrow$ $B$ ~ $A$
（3）传递性：$A$ ~ $B$且$B$ ~ $C$ $\Rightarrow$ $A$ ~ $C$
则称为 等价关系。例如：数的相等、三角形的相似、矩阵的相似等。

线性空间的同构关系是等价关系。

4.2 性质

• 数域 $P$ 上的 $n$ 维线性空间 $V$ 与向量空间 $P^n$ 同构。

• 数域 $P$ 上的所有维数相同的有限维线性空间都是同构。

• 同构对应的元素性质：
  （1）零元素对应零元素
  （2）负元素对应负元素
  （3）同构对应保持着线性相关性和线性无关性
  （4）同构的有限维线性空间的维数相同

• 数域 $P$ 上两个有限维线性空间同构的充要条件是 它们有相同的维数。

---

二、线性子空间

1、线性子空间

$V$ 是数域 $P$ 上的线性空间，$W$ 是 $V$ 的一个子集，若 $W$ 对 $V$ 中的加法和乘法也构成 $P$ 上的线性空间，则称 $W$ 是 $V$ 上的一个线性子空间。

（1）定理1：线性空间 $V$ 的非空子集 $W$ 为 $V$ 的子空间的充要条件是：$W$ 对 $V$ 中的线性运算封闭。

（2）性质：若$W$是$V$的一个子空间，则$W$的一组基是$V$的一个线性无关向量组，其所含向量个数不会超过$V$的维数，即有 $dim(W)\le dim(V)$。

（3）平凡子空间
$V$本身是$V$的子空间。
只含 $V$ 的零向量 $0$ 的集合 {0} ，也是$V$的子空间，称为零子空间，零子空间中没有基，其维数为零。
$V$ 和 {0} 称为 $V$ 的平凡子空间，其它子空间称为非平凡子空间。

（4）设$x_1,x_2,\dots ,x_r$为数域$P$上线性空间$V$的一组向量，它们的所有线性组合构成的集合{${\lambda }_1{x}_1+{\lambda }_2{x}_2+...+{\lambda }_r{x}_r$ | ${\lambda }_k\in P,k=1,2,\dots ,r$} 为$V$的一个子空间，称为由$x_1,x_2,\dots ,x_r$生成的子空间，记为 $Span$ {$x_1,x_2,\dots ,x_r$} 。

$x_1,x_2,\dots ,x_r$ 的一个最大线性无关组可作为 $Span$ {$x_1,x_2,\dots ,x_r$} 的一组基，$Span$ {$x_1,x_2,\dots ,x_r$} 的维数为向量组 $x_1,x_2,\dots ,x_r$ 的秩。一个线性空间可视为由其任一组基所生成的线性空间。

（5）定理2：设$V_1$，$V_2$为数域 $P$ 上线性空间 $V$ 的子空间，则 $V_1\cap V_2$ 也是 $V$ 的子空间。

（6）定理3：设$V_1$，$V_2$为数域 $P$ 上线性空间 $V$ 的子空间，则 $V_1+V_2=$ {$x_1+x_2|x_1\in V_1,x_2\in V_2$} 也是 $V$ 的子空间。

（7）定理4：$Span$ {$x_1,x_2,\dots ,x_r$} $=$ $Span$ {$y_1,y_2,\dots ,y_s$} 的充要条件是向量组$x_1,x_2,\dots ,x_r$ 和 $y_1,y_2,\dots ,y_s$等价，即这两个向量组可相互线性表示。

2、维数公式

维数公式：$V_1$、$V_2$是线性空间 $V$ 的子空间，则
$$dim(V_1)+dim(V_2)=dim(V1+V2)+dim(V_1\cap V_2)$$

• 推论：若 $n$ 维线性空间 $V$ 的两个子空间$V_1、V_2$的维数和大于$n$，则$V_1\cap V_2$含有非零向量。

3、子空间的直和

（1）定义（直和）：设$V_1$、$V_2$是线性空间 $V$ 的子空间，若$W=V_1+V_2$中每个向量 $x$ 的分解式
$$x=x_1+x_2(x_1\in V_1,x_2\in V_2)$$
是唯一的，则 子空间 $W=V_1+V_2$ 称为 $V_1与V_2$ 的直和，记为 $W=V_1\oplus V_2$ 。

（2）定理6：两个子空间的和为直和的充要条件是，它们的交为零空间。
V 1 + V 2 = V 1 ⊕ V 2 ⇔ V 1 ∩ V 2 = { 0 } V_{1}+V_{2}= V_{1}\oplus V_{2} \Leftrightarrow V_{1}\cap V_{2} = \{0\} V1​+V2​=V1​⊕V2​⇔V1​∩V2​={0}
（3）定理7：两个子空间的和是直和的充要条件是，零向量的分解式唯一。
（4）定理8：两个子空间的和是直和的充要条件是，它们的和的维数等于维数的和。
$$V_1+V_2=V_1\oplus V_2\iff dim(V_1+V_2)=dim(V_1)+dim(V_2)$$
（5）定理9：两个子空间的和是直和的充要条件是，$V_1、V_2$的基合在一起是$V_1+V_2$的基。

• 推论： 设$V_1$是线性空间$V$的一个子空间，则一定存在$V$的另一个子空间$V_2$，使$V=V_1\oplus V_2$。

---

三、线性变换

1、映射

（1）设 $V$ 和 $W$ 为两个非空集合，如果存在一个法则 $T$，使得对于 $V$ 中任一元素 $\alpha$ ，按照此法则，都有 $W$ 中唯一的元素 $\beta$ 与之对应，则称 $T$为从$V$到$W$的映射 ，并记 $\beta =T\alpha$。

• $\beta$ 为 $\alpha$ 在映射 $T$ 下的像，$\alpha$为$\beta$在映射$T$下的原像。
• 像的全体称为像集，记为$T(V)$，即 $T(V)=${$\beta =Ta|\alpha \in v$} 。显然，$T(V)$是$W$的子集。

（2）设$V$、$W$是数域 $Р$上的线性空间，$T$是从$V$到$W$的映射，如果对任何 $\alpha ,\beta \in V,\lambda \in P$ ， $T$都满足:

• $T(\alpha +\beta )=T\alpha +T\beta$ ;
• $T(\lambda \alpha )=\lambda T\alpha$
  则称 $T$ 为从$V$到$W$的线性映射。

2、线性变换

（1）线性空间到自身的映射称为该线性空间上的变换，线性空间到自身的线性映射称为该线性空间上的线性变换。

（2）

• 把任何元素都变为零向量的变换是线性变换，称为零变换，记作 $O:Ox=0$, $\forall x$。
• 把任何元素变为其自身的变换是线性变换，称为恒等变换，记作 $I:Ix=x$, $\forall x$。

（3）性质：

• $T0=0，T(-x)=-Tx$
• 若 $y={\lambda }_1{x}_1＋{\lambda }_2{x}_2＋\dots ＋{\lambda }_k{x}_k$，则 $Ty={\lambda }_{1}T{x}_1＋{\lambda }_{2}T{x}_2＋\dots ＋{\lambda }_{k}T{x}_k$
• 若 $x_1,x_2,\dots ,x_k$ 线性相关，则 $T{x}_1,T{x}_2,\dots ,T{x}_k$ 也线性相关。

3、线性变换的运算

3.1 线性变换的一些运算

（1）线性变换相等（T相等）
设 $T_1,T_2$ 为线性空间 $V$ 的线性变换，若对$V$中任何元素 $x$，都有 $T_{1}x=T_{2}x$，则称 $T_1$ 与 $T_2$ 相等，记作 $T_1=T_2$。
显然，两个线性变换相等的充要条件是，它们对一组基的每个基向量的变换结果相等。

（2）线性变换的和
设 $T_1,T_2$ 为数域 $P$ 上线性空间 $V$ 的线性变换，定义$T_1+T_2$为$V$上的变换：
$$(T_1+T_2)x=T_{1}x+T_{2}x,\forall x\in V$$
则 $T_1+T_2$ 是线性变换。

（3）线性变换的数乘
设 $T$ 为数域 $P$ 上线性空间 $V$ 的线性变换，$k$ 为 $P$ 中的数，定义 $k$ 与 $T$ 的数乘 $kT$ 为$V$ 上的变换：
$$(kT)x=kTx,\forall x\in V$$
则 $kT$是线性变换。

（4）线性变换的乘积
$T_1,T_2$ 为数域 $P$ 上线性空间 $V$ 的线性变换，定义$T_1{T}_2$为$V$上的变换：
$$(T_1{T}_2)x=T_1(T_{2}x),\forall x\in V$$
则 $T_1{T}_2$是线性变换。
一般来说，$T_1{T}_2\ne T_2{T}_1$

（5）逆变换
对于变换 $T$，如果有变换 $S$，使得 $TS$ 和 $ST$ 为恒等变换:
$$TS=ST$$
则称$T$为可逆变换，且$S$为$T$的逆变换，记为 $S=T^{-1}$。
线性变换 $T$ 的逆变换 $T^{-1}$ 也是线性变换。

3.2 运算性质

• $T_1+T_2=T_2+T_1$
• $(T_1+T_2)+T_3=T_1+(T_2+T_3)$
• $T+O=T(其中О为零变换)$
• $T+(-1)T=O(其中О为零变换)$
• $1T=T$
• $\lambda (\mu T)=(\lambda \mu )T$
• $(\lambda +\mu )T=\lambda T+\mu T$
• $\lambda (T_1+T_2)=\lambda T_1+\lambda T_2$
• $(T_1{T}_2)T_3=T_1(T_2{T}_3)$

4、线性变换的值域与核

4.1 值域

设 $T$ 为 $n$ 维线性空间 $V$ 的一个线性变换，$T$ 的象所构成的集合 $T(V)=$ {$Tx|x\in V$}为 $V$ 的子空间，称为 $T$ 的值域或象空间。

4.2 核

$V$ 中被 $T$ 变换为零向量的元素构成的集合 $Ker(T)=$ {$x|Tx=0,x\in V$} 也是 $V$ 的子空间，称为 $T$ 的核或零空间。

4.3 性质

$$dim[T(V)]+dim[Ker(V)]=dim(V)$$

5、不变子空间

设 $T$ 是线性空间 $V$ 的线性变换，$W$ 为 $V$ 的子空间，如果 $W$ 的元素经 $T$ 变换后仍在 $W$ 中，即 $T(W)\subset W$，则称 $W$ 为 $T$ 的不变子空间，记为 $T-子空间$。

• $T$ 的值域 $T(V)$ 和核 $Ker(T)$ 都是 $T-子空间$

6、线性变换的矩阵表示

6.1 线性变换在基下的矩阵

设 $T$ 为数域 $P$ 上 $n$ 维线性空间 $V$ 中的一个线性变换，$e_1,e_2,\dots ,e_n$ 为 $V$ 的一组基，对 $V$ 中任一向量 $x$，设 $x={\xi }_1{e}_1+{\xi }_2{e}_2+\dots +{\xi }_n{e}_n$ ，则 $Tx={\xi }_{1}T{e}_1+{\xi }_{2}T{e}_2+\dots +{\xi }_{n}T{e}_n$ 。 所以，一个向量在线性变换下的象，是基向量的象的线性组合，而且此线性组合的系数即为该向量在这组基下的坐标。这就是说，只要确定了基向量的象，就确定了一个线性变换。
$$T(e_1,e_2,\dots ,e_n)=(e_1,e_2,\dots ,e_n)A$$
矩阵 $A$ 称为线性变换 $T$ 在基 $e_1,e_2,\dots ,e_n$ 下的矩阵。

6.2 向量经过线性变换后在基下的坐标

在基给定的条件下，向量经过线性变换后的坐标，等于用线性变换在这组基下的矩阵去左乘此向量的坐标。
$$Tx=T[(e_1.e_2,...,e_n)\xi ]=(e_1.e_2,...,e_n)A\xi$$
$Tx$的坐标为 $A\xi$ 。

6.3 线性变换换基矩阵

设线性变换 $T$ 在不同的两组基下的矩阵分别为 $A$，$B$，则 $A$与$B$相似 。有
$$\begin{gathered} T(e_1,e_2,\dots ,e_n)=(e_1,e_2,\dots ,e_n)A \\ T(u_1,u_2,\dots ,u_n)=(u_1,u_2,\dots ,u_n)B \\ (u_1,u_2,\dots ,u_n)=(e_1,e_2,\dots ,e_n)Q \end{gathered}$$

则：$$B=Q^{-1}AQ$$

6.4 性质

• 数域 $P$ 上的 $n$ 维线性空间 $V$ 中的线性变换构成的线性空间 $L(V)$ 与 $n$ 阶矩阵空间 $P^{n\times n}$ 同构。
• 线性变换乘积对应的矩阵为线性变换的矩阵的乘积
• 可逆变换的矩阵也可逆，逆变换的矩阵为线性变换矩阵的逆矩阵。

---

四、内积空间

1、欧式空间与酉空间

1.1 内积和内积空间

在数域 $P$ 上的线性空间 $V$ 中定义一个二元函数 $(x,y)$，若此函数对任意 $x,y,z\in V$ , $\lambda ,\mu \in P$ 都满足

• 共钜对称性：$(x,y)=\overline{(y,x)}$;
• 线性性：$(\lambda x+\mu y,z)=\lambda (x,z)+\mu (y,z)$ ; 另[$(z,\lambda x+\mu y)=\overline{\lambda }(z,x)+\overline{\mu }(z,y)$]
• 正定性：$(x,x)\ge 0$，且$(x,x)=0\iff x=0$

则称 $(x,y)$ 为 $x$ 与 $y$ 的内积。
称定义了内积的线性空间为内积空间。

1.2 欧式空间和酉空间

数域 $P$ 为实数域 $R$ 时，内积空间为实内积空间，也叫欧几里得空间，简称欧氏空间。
数域 $P$ 为复数域 $C$ 时，内积空间为复内积空间，也叫酉空间。

• 度量矩阵： $\lambda_i $ 是一组基，$a_{ij}=({\lambda }_i,{\lambda }_j),A=(a_{ij}{)}_{n\times n}$ 。$A $ 称为 基${\lambda }_i$ 的度量矩阵。

1.3 一些内积的例子

常见的内积空间 $P^n，P^{m\times n}，C[a,b]$ ：

• 在 $P^n$ 中, 向量 $x={\left(x_1,x_2,\cdots ,x_n\right)}^T,y={\left(y_1,y_2,\cdots ,y_n\right)}^T$ 的内积可定义为
  $$⟨x,y⟩=y^{H}x=x_1{\bar{y}}_1+x_2{\bar{y}}_2+\cdots +x_n{\bar{y}}_n$$
• 在 $P^{m\times n}$ 中, 矩阵 $A={\left(a_{ij}\right)}_{m\times n},B={\left(b_{ij}\right)}_{m\times n}$ 的内积可定义为
  $$⟨A,B⟩=\mathrm{tr}\left(A{B}^T\right)=\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}{\bar{b}}_{ij}$$
• 在 $C[a,b]$ 中, 实值连续函数 $f(x),g(x)$ 的内积可定义为
  $$⟨f,g⟩={\int }_a^{b}f(x)g(x)dx$$

1.4 范数

称 $||x||=\sqrt{(x,x)}$ 为向量 $x$ 的范数或长度，并称范数为 1 的向量叫做单位向量。

• 两向量的夹角：$$\cos \theta =\frac{(x,y)}{||x||||y||}$$
• 向量范数性质 ：（范数那一章会展开介绍）
  • 非负性：$||x||\ge 0$ ，$||x||=0\iff x=0$
  • 齐次性：$||\lambda x||=|\lambda |||x||$ , $\forall \lambda \in R$
  • 三角不等式：$||x+y||\le ||x||+||y||$

• 对于非零向量 $x$， $\frac{x}{||x||}$ 为单位向量， 称之为 $x$ 的方向向量， 这一过程称为向量的单位化

1.5 柯西-施瓦茨不等式

对内积空间$V$中任意两个元素 $x,y$ ，都有 $$|(x,y)|\le ||x||||y||$$
等号成立的充要条件是    \; $x,y$ 线性相关。

1.6 正交

如果向量 $x,y$ 的内积为 0，则称 $x,y$ 正交，记为 $x\perp y$ 。

• 零向量和任何向量正交。

2、标准正交基

2.1 概念与性质

（1）正交向量组：
内积空间中两两正交的非零向量组，称为正交向量组。单位向量构成的正交向量组为标准正交向量组。

• 正交向量组必线性无关。

（2）正交基：由正交向量组构成的基为正交基，标准正交向量组构成的为标准正交基。

• 内积空间中必存在标准正交基。

（3）酉矩阵：
复方阵$A$若满足 $$A^{H}A=A{A}^H=E$$，式中 $A^H$ 表示 $A$ 的共轭转置，称 $A$ 为酉矩阵。

• 正交矩阵是酉矩阵的特例。
• 方阵为酉矩阵的充要条件是 其列向量（或行向量）为两两正交的单位向量。
• 酉空间或欧氏空间中两组标准正交基之间的过度矩阵分别是酉矩阵或正交矩阵。

2.2 施密特标准正交化

线性无关向量组 ${\vec{\alpha }}_1$ ,${\vec{\alpha }}_2$ , ${\vec{\alpha }}_3$ …，

第一步 ：标准正交化：

$$\begin{gathered} {\vec{\beta }}_1={\vec{\alpha }}_1, \\ {\vec{\beta }}_2={\vec{\alpha }}_2-\frac{({\vec{\alpha }}_2,{\vec{\beta }}_1)}{({\vec{\beta }}_1,{\vec{\beta }}_1)}{\vec{\beta }}_1, \\ {\vec{\beta }}_3={\vec{\alpha }}_3-\frac{({\vec{\alpha }}_3,{\vec{\beta }}_1)}{({\vec{\beta }}_1,{\vec{\beta }}_1)}{\vec{\beta }}_1-\frac{({\vec{\alpha }}_3,{\vec{\beta }}_2)}{({\vec{\beta }}_2,{\vec{\beta }}_2)}{\vec{\beta }}_2 \\ ⋮ \\ {\vec{\beta }}_s={\vec{\alpha }}_s-\frac{({\vec{\alpha }}_s,{\vec{\beta }}_1)}{({\vec{\beta }}_1,{\vec{\beta }}_1)}{\vec{\beta }}_1-\frac{({\vec{\alpha }}_s,{\vec{\beta }}_2)}{({\vec{\beta }}_2,{\vec{\beta }}_2)}{\vec{\beta }}_2-...-\frac{({\vec{\alpha }}_s,{\vec{\beta }}_{s-1})}{({\vec{\beta }}_{s-1},{\vec{\beta }}_{s-1})}{\vec{\beta }}_{s-1} \end{gathered}$$

， 即为正交向量组。

第二步：再单位化：

$$\begin{gathered} {\vec{\eta }}_1=\frac{{\vec{\beta }}_1}{\Vert \begin{array}{c}{\vec{\beta }}_1\end{array}\Vert } \\ {\vec{\eta }}_2=\frac{{\vec{\beta }}_2}{\Vert \begin{array}{c}{\vec{\beta }}_2\end{array}\Vert } \\ {\vec{\eta }}_3=\frac{{\vec{\beta }}_3}{\Vert \begin{array}{c}{\vec{\beta }}_3\end{array}\Vert } \\ ⋮ \\ {\vec{\eta }}_s=\frac{{\vec{\beta }}_s}{\Vert \begin{array}{c}{\vec{\beta }}_s\end{array}\Vert } \end{gathered}$$

（分母可以写成 $\sqrt{（{\vec{\beta }}_i,{\vec{\beta }}_i）}$ ），${\eta }_i$ 即为标准正交向量组。

3、正交补空间

3.1 向量与空间

设 $V$ 是内积空间 $V$ 的子空间，向量 $x$ 与 $V$ 中每个向量正交，则称 $x$ 与 $V$ 正交，记为 $x\perp V$。

• 一个向量与一个子空间正交的充要条件是，这个向量与子空间的一组基的每个基向量都正交。

3.2 空间与空间的正交

设 $V_1,V_2$ 是内积空间$V$的子空间，$V_1$ 中每个向量都与 $V_2$ 正交 (因此 $V_2$ 中每个向量也都与 $V_1$ 正交) ，则称$V_1$与$V_2$正交，记为$V_1\perp V_2$。

• 两个子空间正交的充要条件是，每个子空间的一组基的每个基向量与另一个子空间的一组基的每个基向量都正交。
• 两个相互正交的子空间的和是直和。

3.3 正交补空间

设 $V_1$ 是内积空间 $V$ 的子空间， $V$ 中所有与 $V_1$ 正交的向量组成的集合称为 $V_1$ 的正交补空间，记为 $V_1^{\perp }$，即 V 1 ⊥ = { α ∣ ( α , β ) = 0 ， α ∈ V ， β ∈ V 1 } V_{1}^{\perp} = \{ \alpha | (\alpha,\beta)=0，\alpha \in V ，\beta \in V_{1}\} V1⊥​={α∣(α,β)=0，α∈V，β∈V1​}

• 每个子空间都有唯一的正交补空间
• 对于任何内积空间$V$ 的子空间$W$ ，总有$V=W\oplus W^{\perp }$。
• 内积空间的正交分解明显优于一般的直和分解，因为任意向量在子空间$W$ 上分量。

4、距离，最小二乘法

4.1 距离

欧氏空间$V$ 的元素 $x$ 到 $V$ 的子空间 $W$ 的距离 $d(x,W)$:

$d(x,W)=min$ {$d(x,y)=||x-y|||y\in W$}

4.2 定理

$y$ 为子空间 $W$ 中到 $x$ 的距离最近的元素，当且仅当 $x-y$ 与 $W$ 正交。

4.3 求近似解

求近似解 就是求 $x_1,x_2,...,x_n$，使$||b-(x_1{a}_1+x_2{a}_2+...+x_n{a}_n)||$最小。就是在 $Span${$a_1,a_2,...,$} 中找一个距离 $b$ 最近的元素。称满足此条件的 $x_1,x_2,...,x_n$ 为方程组的最小二乘解。

• $b-(x_1{a}_1+x_2{a}_2+...+x_n{a}_n)$ $\perp$ $Span(a_1,a_2,...,a_n)$

5、正交变换和酉变换

5.1 概念

• 设$T$是欧氏空间$V$的线性变换，若$T$保持$V$中向量的内积不变，即对任何$x,y\in V$，都有$(Tx,Ty)=(x,y)$，则称 $T$ 为 $V$ 的一个正交变换。
• 设$T$是酉空间$V$的线性变换，若$T$保持$V$中向量的内积不变，即对任何$x,y\in V$，都有$(Tx,Ty)=(x,y)$，则称 $T$ 为 $V$ 的一个酉变换。

5.2 性质

• 欧式空间$V$中的线性变换$T$为正交变换的充要条件是，$T$保持$V$中向量长度不变：$$||Tx||=||x||，\forall x\in V$$
  酉空间$V$中的线性变换$T$为酉变换的充要条件是，$T$保持$V$中向量长度不变：$$||Tx||=||x||，\forall x\in V$$

• 欧式空间$V$中的线性变换$T$为正交变换的充要条件是，$T$把$V$中的标准正交基变为标准正交基。
  酉空间$V$中的线性变换$T$为酉变换的充要条件是，$T$把$V$中的标准正交基变为标准正交基。

• 欧式空间$V$中的线性变换$T$为正交变换的充要条件是，$T$在标准正交基下的矩阵为正交矩阵。
  酉空间$V$中的线性变换$T$为酉变换的充要条件是，$T$在标准正交基下的矩阵为酉矩阵。