矩阵论 - Part II

矩阵论 - Part II

概念索引

4 向量空间, 最大线性无关组, 线性(子)空间, 线性空间的维数, 基和坐标, 同构映射, 同构空间, 基变换, 过度矩阵, 坐标变换, 线性变换, 线性变换的矩阵表示, 相似矩阵, 欧式空间, 內积, 范数, Schwartz不等式, 夹角, 规范正交基, Schmidt正交化过程, 正交矩阵

4 矩阵空间

向量空间

向量空间: $n$维向量的集合$V$, 如果对加法和数乘运算封闭, 则集合$V$称为向量空间

生成向量空间

子空间

空间维数

0空间

最大线性无关组: 向量组$A$中有$r$个向量(设为向量组$A_0$)线性无关, 任意$r+1$个向量线性相关, 则称$A_0$是一个最大线性无关组, $r$称为向量组的秩, 只含有0向量的向量组没有最大无关组, 规定其秩为$0$

矩阵的秩等于其列向量组的秩, 也等于其行向量组的秩

向量组$B$可以由向量组$A$线性表示, 则向量组$B$的秩不大于向量组$A$的秩

• 等价的向量组秩相等
• 设$C=AB$, 则 $$\{\begin{array}{r}R(C)\le R(A)\\ R(C)\le R(B)\end{array}$$
• 最大线性无关组的等价定义: 设$B$是$A$的部分组, 若$B$是线性无关组, 且$A$可以由$B$线性表示, 则$B$是$A$的最大无关组

线性空间

非空集合$V$, 实数域$R$(可以为其他数域), 定义加法和数乘运算两种运算, 满足如下性质($\lambda ,\mu \in R$, $\alpha ,\beta ,\gamma \in V$):

• 性质1: 加法交换律, $\alpha +\beta =\beta +\alpha$
• 性质2: 加法结合律 $(\alpha +\beta )+\gamma =\alpha +(\beta +\gamma )$
• 性质3: $V$中有$O$元素 $\alpha +O=\alpha$
• 性质4: $V$中任何元素有负元素 $\forall \alpha \in V,\exists \beta \in V$, s.t. $\alpha =-\beta$
• 性质5: $V$中有单位元$I$ $I\cdot \alpha =\alpha$
• 性质6: $\lambda (\mu \alpha )=(\lambda \mu )\alpha$
• 性质7: $(\lambda +\mu )\alpha =\lambda \alpha +\mu \alpha$
• 性质8: $\lambda (\alpha +\beta )=\lambda \alpha +\lambda \beta$
  满足上述性质的加法和数乘运算称为线性运算, 定义线性运算的集合$V$称为线性空间

线性空间的性质

零元素唯一

任一元素的负元素唯一

$0\alpha =O,(-1)\alpha =-\alpha ,\lambda O=O$

若$\lambda \alpha =0$, 则必有$\alpha =O$, 或$\lambda =0$

线性子空间

线性空间的非空子集, 对于原线性空间加法和数乘运算也构成一个线性空间, 则称该子集为原线性空间的线性子空间

线性空间$V$上的一个非空子集$L$构成线性子空间的充要条件是: $L$对$V$中的线性运算封闭.

线性空间的维数, 基和坐标

基$a_1,a_2,\cdots ,a_n$, 维数$n$

$V$中的元素用基元素$\alpha$线性表示为: $\alpha =x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_n{\alpha }_n$, $(x_1,x_2,\cdots ,x_n)$称为元素$alpha$在这组基下的坐标.

同构

设$U$, $V$是数域$F$上的两个线性空间, $f$是$U$到$V$的一个映射, 如果满足:
(1) $f$是双射
(2) $\forall \alpha ,\beta \in U$,有$f(\alpha +\beta )=f(\alpha )+f(\beta )$
(3) $\forall \alpha \in U$, $\lambda \in F$, 有$f(\lambda \alpha )=\lambda f(\alpha )$
则称$f$是$U$到$V$的同构映射, 如果$U$到$V$的同构映射存在, 则称$U$和$V$同构, 记为$U\cong V$.

数域$F$上的任意$n$维线性空间都与$F^n$同构

同构映射的基本性质

设$f$是线性空间$U$到$V$的同构映射, 则:
(1) $f(0)=0$
(2) $\forall \alpha \in U$, 有$f(-\alpha )=-f(\alpha )$
(3) $\forall {\alpha }_i\in U,{\lambda }_i\in F$, 有$f({\lambda }_1{\alpha }_1+\cdots +{\lambda }_n{\alpha }_n)={\lambda }_{1}f({\alpha }_1)+\cdots +{\lambda }_{n}f({\alpha }_n)$
(4) $U$中的向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$线性相关的充要条件是$f({\alpha }_1),f({\alpha }_2),\cdots ,f({\alpha }_n)$线性相关
(5) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$是$U$的一个基的充要条件是$f({\alpha }_1),f({\alpha }_2),\cdots ,f({\alpha }_n)$是$V$的一个基
(6) $U$的子空间在$f$下的象集是$V$的子空间
(7) $V$的子空间在$f$下的原集是$U$的子空间
(8) $f$的逆映射是$V$到$U$的同构映射
(9) 若$g$是线性空间$V$到$W$的t同构映射, 则$gf$是$U$到$W$的同构映射

同构关系的性质

反身性: $V\cong V$
对称性: 若$U\cong V$, 则$V\cong U$
传递性: 若$U\cong V$, $V\cong W$, 则$U\cong W$

线性空间同构的一个充要条件

数域$F$上两个有限维线性空间同构的充要条件是它们有相同的维数.

同构的线性空间是不加区别的(代数角度), 维数是有限维线性空间的唯一本质特征.

一般无限维空间可以用有限维逼近, 因此有限维空间应用广泛, 如FFT等

基变换

设${\alpha }_1,\cdots ,{\alpha }_n$和${\beta }_1,\cdots ,{\beta }_n$是$n$维线性空间$V_n$的两组基. 则存在变换使得$$[{\beta }_1,\cdots ,{\beta }_n]=[{\alpha }_1,\cdots ,{\alpha }_n]P$$ $P$称过度矩阵, 上式称基变换表示式.

坐标变换

设线性空间$V$中的元素$\alpha$在两组基${\alpha }_1,\cdots ,{\alpha }_n$和${\beta }_1,\cdots ,{\beta }_n$下的坐标分别是$[x_1,\cdots ,x_n{]}^T$和$[x_1^{\prime },\cdots ,x_n^{\prime }{]}^T$, $P$为过度矩阵(同上定义), 则两组基下的坐标表示满足如下坐标变换$$[x_1,\cdots ,x_n{]}^T=P[x_1^{\prime },\cdots ,x_n^{\prime }{]}^T$$或$$[x_1^{\prime },\cdots ,x_n^{\prime }{]}^T=P^{-1}[x_1,\cdots ,x_n{]}^T$$

线性变换

设$V_n,U_m$分别是$n$维和$m$维线性空间, 如果变换$T:V_n\to U_m$满足:
(1) 可加性: $T({\alpha }_1+{\alpha }_2)=T({\alpha }_1)+T({\alpha }_2)$
(2) 可数乘性: $T(k\alpha )=kT(\alpha )$
则称该变换为线性变换

若果$U_m=V_n$, 即$T$是$V_n$到自身的线性变换, 称线性空间$V_n$中的线性变换

线性变换的性质

$T(0)=0,T(-\alpha )=-T(\alpha )$

$\beta ={\lambda }_1{\alpha }_1+\cdots +{\lambda }_n{\alpha }_n$则$T(\beta )=T({\lambda }_1{\alpha }_1+\cdots +{\lambda }_n{\alpha }_n)={\lambda }_{1}T({\alpha }_1)+\cdots +{\lambda }_{n}T({\alpha }_n)$

${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$线性相关, 则$T({\alpha }_1),T({\alpha }_2),\cdots ,T({\alpha }_n)$线性相关

线性变换$T$的象$T(V_n)$是一个线性空间($U_m$的子空间), 称为线性空间$T$的象空间

集合 S T = { α ∣ α ∈ V n , T ( α ) = 0 } S_T=\{\alpha |_{\alpha\in V_n},T(\alpha)=0\} ST​={α∣α∈Vn​​,T(α)=0}的是$V_n$的子空间, 集合$S_T$称为线性变换$T$的核

用矩阵表示线性变换

$y=T(x)=Ax$

${\mathbb{R}}^n$中任何线性变换$T$都可以用矩阵表示 $$T(x)=Ax,x\in {\mathbb{R}}^n$$ $$A=[T(e_1),T(e_2),\cdots ,T(e_n)]$$其中$e_1,\dots ,e_n$是一组基, 称$A$是线性变换$T$在这组基下的线性表示

上述情况可以推广到一般的线性空间$V_n$中, 设${\alpha }_1,\dots ,{\alpha }_n$是一组基, 此时对于$V_n$中的任意元$\alpha ={\sum }_{i=1}^n{x}_i{\alpha }_i$, 其线性变换$$T(\alpha )=T(\sum _{i=1}^n{x}_i{\alpha }_i)=[T({\alpha }_1),\dots ,T({\alpha }_n][x_1,\dots ,x_n{]}^T=[{\alpha }_1,\dots ,{\alpha }_n]A[x_1,\dots ,x_n{]}^T$$
自行思考此时$A$的形式

不同基的变换矩阵

在$V_n$线性空间中, 取定两组基: ${\alpha }_1,\dots ,{\alpha }_n$和${\beta }_1,\dots ,{\beta }_n$, 由基$alph{a}_1,\dots ,{\alpha }_n$到基${\beta }_1,\dots ,{\beta }_n$的过度矩阵为$P$, $V_n$的线性变换$T$在这两组基条件下的矩阵分别为$A$和$B$, 则有 $$B=P^{-1}AP$$

相似矩阵

$n$阶方阵$A$和$B$称为相似矩阵, 如果存在可逆矩阵$P$, 使得$$B=P^{-1}AP$$成立, $P$称为相似变换矩阵

欧式空间

欧式空间在一般线性空间的基础上, 引入长度(范数)的定义, 如三维空间中向量$(x,y,z)$的长度平方为$$r^2=x^2+y^2+z^2$$后来在长度定义的基础上进一步定义了內积, 形成內积空间. 內积空间不仅仅有长度, 还有夹角, 正交等.

欧式空间定义

有內积定义的实线性空间称为欧式空间

向量內积

$[x,y]=[y,x]$
$[kx,y]=k[x,y]$
$[x+y,z]=[x,z]+[y,z]$
满足上述3条性质的运算为內积运算

无限维空间及內积定义

函数线性空间
$[f,g]=[g,f]={\int }_a^{b}gfdx$
$[kf,g]=k[f,g]=k{\int }_a^{b}fgdx$
$[f_1+f_2,g]={\int }_a^b(f_1+f_2)gdx={\int }_a^b{f}_{1}gdx+{\int }_a^b{f}_{2}gdx=[f_1,g]+[f_2,g]$
上述函数空间也是內积空间

向量范数

非负性
齐次性 $\Vert kx\Vert =|k|\Vert x\Vert$
三角不等式 $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$

Schwartz不等式

$$[x,y{]}^2\le [x,x][y,y]$$ $$|[x,y]|\le \Vert x\Vert \Vert y\Vert$$当且仅当$x,y$线性相关时等号成立

向量的夹角

$\Vert x\Vert ,\Vert y\Vert \ne 0$, 则$x,y$之间的夹角定义为$$\theta =\arccos \frac{[x,y]}{\Vert x\Vert \Vert y\Vert }$$

正交

$[x,y]=0$, 则$x,y$正交, $0$向量和所有向量正交

函数空间中也有夹角和正交的概念$$\theta =\arccos \frac{[f,g]}{||f||||g||}$$ $${\int }_a^{b}fg=0$$

两两正交向量组线性无关

如果向量组${\alpha }_1,\dots ,{\alpha }_n$是两两正交的非零向量, 则${\alpha }_1,\dots ,{\alpha }_n$线性无关,

正交基

$n$维空间中$n$个两两正交的基, 构成该空间的一组正交基

规范正交基

都是单位向量的正交基称规范正交基

规范正交基下的坐标表示

$e_1,\dots ,e_n$是规范正交基, 元素$\alpha$在这组基下的坐标满足 $$x_i=[\alpha ,e_i],i=1,2,\dots ,n$$

Schmidt正交化过程

$$\{\begin{array}{rl}& b_1=a_1\\ & b_2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1\\ & b_3=a_3-\frac{[b_1,a_3]}{[b_1,b_1]}{b}_1-\frac{[b_2,a_3]}{[b_2,b_2]}{b}_2\\ & ⋮\\ & b_r=a_r-\frac{[b_1,a_r]}{[b_1,b_1]}{b}_1-\frac{[b_2,a_r]}{[b_2,b_2]}{b}_2-\cdots -\frac{[b_{r-1},a_r]}{[b_{r-1},b_{r-1}]}{b}_{r-1}\end{array}$$
归一化过程 $$e_1=\frac{b_1}{||b_1||},e_2=\frac{b_2}{||b_2||},\cdots ,e_n=\frac{b_n}{||b_1||}$$

正交矩阵

$n\times n$的方阵, 满足$$A^{T}A=E$$或$$A^T=A^{-1}$$

正交矩阵是内积不变的线性变换, 所以也称正交变换矩阵

坐标旋转矩阵是正交矩阵, 但正交矩阵不一定是坐标旋转矩阵

方阵$A$是正交矩阵的充要条件是$A$的行向量(列向量)是${\mathbb{R}}^n$中的规范正交基