矩阵论(一)——建立基本概念

1. 线性空间

概念

非空集合V，数域F，对加法和数乘封闭，即$\forall \alpha ,\beta \in V$，有$\alpha +\beta \in V$；$\forall k\in F，\alpha \in V$，有$k\alpha \in V$，并且满足下面八条运算法则：
1. 加法交换律：$\alpha +\beta =\beta +\alpha$
2. 加法结合律：$(\alpha +\beta )+\gamma =\alpha +(\beta +\gamma )$
3. V中存在零元：$\exists {\alpha }_0\in V,\forall \alpha \in V,\alpha +{\alpha }_0=\alpha ,记{\alpha }_0=0$
4. V中存在负元：$\forall \alpha \in V,\exists \beta \in V,使\alpha +\beta =0,记\beta =-\alpha$
5. $\exists 1\in F$：$1\cdot \alpha =\alpha$
6. 数乘结合律：$(kl)\alpha =k(l\alpha )$
7. 分配律：$k(\alpha +\beta )=k\alpha +k\beta$
8. 分配率：$(k+l)\alpha =k\alpha +l\alpha$
此时V是数域F上的线性空间。V中元素称为向量。F为实(复)数域时，称V为实(复)线性空间。

性质

1. V中零元素唯一
2. V中任一元素的负元素唯一
3. 设0为数0，$\vec{0}$为V中零向量，则
   (a) $0\cdot \alpha =\vec{0}$
   (b) $k\cdot \vec{0}=\vec{0},k\in F$
   (c) 若$k\cdot \alpha =\vec{0}$，则一定有$k=0$或者$\alpha =\vec{0}$
   (d) $(-1)\alpha =-\alpha$

2. 基与维数

概念

基： 线性空间V中，若存在一组线性无关的向量${\alpha }_1,{\alpha }_2,...,{\alpha }_n$，使得V中任一向量都可以由它们表示，则称向量组 { α 1 ,   α 2 ,   . . . ,   α n } \{\alpha_1,\ \alpha_2,\ ...,\ \alpha_n\} {α1​, α2​, ..., αn​}是V的一组基。
维数： 基中所含向量个数，记为$dimV=n$
基就是向量集合V中的极大线性无关组，因此线性空间的基不唯一
标准正交基： 内积空间$[V_n(F);(\alpha ,\beta )]$中，基 { ϵ 1 ,   ϵ 2 ,   ⋯   ,   ϵ m } \{\epsilon_1,\ \epsilon_2,\ \cdots,\ \epsilon_m\} {ϵ1​, ϵ2​, ⋯, ϵm​}满足
$$({ϵ}_i,{ϵ}_j)=\{\begin{array}{ll}1& i=j\\ 0& i\ne j\end{array}$$

性质

若 { E i j ,   i = 1 ,   2 ,   . . . ,   m ;   j = 1 ,   2 ,   . . . ,   n } \{E_{ij},\ i=1,\ 2,\ ...,\ m;\ j=1,\ 2,\ ...,\ n \} {Eij​, i=1, 2, ..., m; j=1, 2, ..., n}是矩阵空间$R^{m\ast n}$的一组基，则
$$dim{R}^{m\ast n}=m\ast n$$

3. 坐标

概念

设${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$是线性空间$V_n(F)$的一组基，$\forall \beta \in V$，有
$$\beta =\sum _{i=1}^n{x}_i{\alpha }_i=({\alpha }_1{\alpha }_2\cdots {\alpha }_n)\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
则称数$x_1,x_2,\cdots ,x_n$是$\beta$在基 { α 1 ,   α 2 ,   ⋯   ,   α n } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} {α1​, α2​, ⋯, αn​}下的坐标，向量 { x 1 ,   x 2 ,   ⋯   ,   x n } T \{x_1,\ x_2,\ \cdots,\ x_n\}^T {x1​, x2​, ⋯, xn​}T为$\beta$的坐标，简称坐标。

例题

4. 同构

概念

若线性空间$V_n(F)$和$F^n$存在一一对应关系$\sigma$，若$\sigma$满足
$$\sigma (\alpha +\beta )=\sigma (\alpha )+\sigma (\beta )$$

$$\sigma (k\alpha )=k\sigma (\alpha )$$
则数域F上任何一个n维线性空间$V_n(F)$都和n维线性空间$F^n$同构

性质

设 { α 1 ,   α 2 ,   ⋯   ,   α n } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} {α1​, α2​, ⋯, αn​}是n维线性空间$V_n(F)$的一组基，$V_n(F)$中向量${\beta }_i$在该基下的坐标为$X_i,i=1,2,\cdots ,m$，则$V_n(F)$中向量组 { β 1 ,   β 2 ,   ⋯   ,   β n } \{\beta_1,\ \beta_2,\ \cdots,\ \beta_n\} {β1​, β2​, ⋯, βn​}线性相关的充要条件是其坐标向量组 { X 1 ,   X 2 ,   ⋯   ,   X m } \{X_1,\ X_2,\ \cdots,\ X_m\} {X1​, X2​, ⋯, Xm​}是$F^n$中的线性相关组。

例题

5. 过渡矩阵（基变换矩阵）

概念

设 { α 1 ,   α 2 ,   ⋯   ,   α n } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} {α1​, α2​, ⋯, αn​}， { β 1 ,   β 2 ,   ⋯   ,   β n } \{\beta_1,\ \beta_2,\ \cdots,\ \beta_n\} {β1​, β2​, ⋯, βn​}是n维线性空间$V_n(F)$的两组基，若有矩阵$C\in F^{n\ast n}$，使
$$({\beta }_1{\beta }_2\cdots {\beta }_n)=({\alpha }_1{\alpha }_2\cdots {\alpha }_n)C$$则称C是从基 { α 1 ,   α 2 ,   ⋯   ,   α n } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} {α1​, α2​, ⋯, αn​}到基 { β 1 ,   β 2 ,   ⋯   ,   β n } \{\beta_1,\ \beta_2,\ \cdots,\ \beta_n\} {β1​, β2​, ⋯, βn​}的过渡矩阵（基变换矩阵）。

性质

设向量$\alpha \in V_n(F)$，$\alpha$在两组基下的坐标分别为X和Y，则有
$$\alpha =({\alpha }_1{\alpha }_2\cdots {\alpha }_n)X$$

$$\alpha =({\beta }_1{\beta }_2\cdots {\beta }_n)Y$$

因此$\alpha =({\beta }_1{\beta }_2\cdots {\beta }_n)Y=({\alpha }_1{\alpha }_2\cdots {\alpha }_n)CY$，有$$X=CY$$

例题

例题一

例题二

6. 子空间

子空间数学表示：
$\exists W\subset V且W\ne \varnothing$，同时满足
$$\forall \alpha ,\beta \in W，有\alpha +\beta \in W$$

$$\forall k\in F，\alpha \in W，有k\alpha \in W$$
则称W是V的子空间。
任何线性空间都有两个平凡子空间：一个是它自身$V\subset V$，另一个是 W = { 0 } W=\{0\} W={0}(零元素空间)

6.1 生成子空间

设$V_n(F)$是线性空间，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$是V中一组向量，则由它们一切线性组合构成的集合： L { α 1 ,   α 2 ,   ⋯   ,   α m } = { α ∣ α = ∑ i = 1 m k i α i ,   k i ∈ F } L\{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_m\} = \{\alpha | \alpha = \sum^{m}_{i=1}k_i \alpha_i,\ k_i \in F\} L{α1​, α2​, ⋯, αm​}={α∣α=i=1∑m​ki​αi​, ki​∈F}是V的一个子空间，称为由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$生成的子空间。
L和span等价

6.2 直和(补)子空间

概念

直和子空间： $W=W_1⨁W_2$
需要同时满足
$W=W_1+W_2$
W 1 ∩ W 2 = { 0 } W_1 \cap W_2 = \{0\} W1​∩W2​={0}
$W_1$和$W_2$是V的子空间

直和补子空间： $V=W⨁U$，此时称U是W的直和补子空间
对n维空间V中任何子空间W，设${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r$为W的基，r<n，把它们扩充到V的基
{ α 1 ,   α 2 ,   ⋯   ,   α r ,   β r + 1 ,   ⋯   ,   β n } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_r,\ \beta_{r+1},\ \cdots,\ \beta_n\} {α1​, α2​, ⋯, αr​, βr+1​, ⋯, βn​}

设 U = L { β r + 1 ,   ⋯   ,   β n } \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad U=L\{\beta_{r+1},\ \cdots,\ \beta_n\} U=L{βr+1​, ⋯, βn​}
则成立$V=W⨁U$，此时称U是W的直和补子空间。
若 V n ( F ) 的 基 为 ： { α 1 ,   α 2 ,   ⋯   ,   α n } V_n(F)的基为：\{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} Vn​(F)的基为：{α1​, α2​, ⋯, αn​}，则
V = L { α 1 ,   α 2 ,   ⋯   ,   α n } = L { α 1 } ⨁ L { α 2 } ⨁ ⋯ ⨁ L { α n } V=L\{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\}=L\{\alpha_1\} \bigoplus L\{\alpha_2\} \bigoplus \cdots \bigoplus L\{\alpha_n\} V=L{α1​, α2​, ⋯, αn​}=L{α1​}⨁L{α2​}⨁⋯⨁L{αn​}

性质

$W_1$和$W_2$是V的子空间，$W=W_1+W_2$，则以下条件等价：

1. $W=W_1⨁W_2$
2. $\forall X\in W，X表示式唯一：X=X_1+X_2，其中X_1\in W_1，X_2\in W_2$
3. W中零向量表达式唯一，即只要$0=X_1+X_2，X_1\in W_1，X_2\in W_2$，就有$X_1=0，X_2=0$
4. $dimW=dim{W}_1+dim{W}_2$

6.3 正交(补)子空间

正交子空间： U ⊥ = { α ∣ α ∈ V ,   ∀ β ∈ U ,   ( α ,   β ) = 0 } U^\perp = \{\alpha | \alpha \in V,\ \forall \beta \in U,\ (\alpha,\ \beta) = 0\} U⊥={α∣α∈V, ∀β∈U, (α, β)=0}
正交补子空间： $V_n=U+U^{\perp }$，$U^{\perp }$是$U$的正交补子空间

6.4 不变子空间

线性变换T，W是子空间，若$\forall \alpha \in W,有T(\alpha )\in W$，即值域$T(W)\subset W$，则称W是T的不变子空间

6.5 零空间(解空间)与列空间(值域)

零空间N(A)： N ( A ) = { X ∣ A X = 0 } ⊂ F n N(A) = \{X | AX = 0\} \subset F^n \quad N(A)={X∣AX=0}⊂Fn 等价于求方程组的非零解
列空间R(A)： R ( A ) = L { α 1 ,   α 2 ,   ⋯   ,   α n } = { y = A x ∣ x = ( x 1 ,   x 2 ,   ⋯   ,   x n ) T ∈ F n } = { x 1 α 1 + x 2 α 2 + ⋯ + x n α n ∣ x i ∈ F } ⊂ F m R(A) = L\{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} = \{y=Ax | x = (x_1,\ x_2,\ \cdots,\ x_n) ^ T \in F^n\} = \{x_1 \alpha_1 + x_2 \alpha_2 + \cdots + x_n \alpha_n | x_i \in F\} \subset F^m \quad R(A)=L{α1​, α2​, ⋯, αn​}={y=Ax∣x=(x1​, x2​, ⋯, xn​)T∈Fn}={x1​α1​+x2​α2​+⋯+xn​αn​∣xi​∈F}⊂Fm 等价于求方程组的极大线性无关组
当T是线性空间$V_n(F)$上的线性变换，则：
像空间： R ( T ) = { β ∣ ∃ α ∈ V n ( F ) ,   β = T ( α ) } R(T) = \{\beta | \exist \alpha \in V_n(F),\ \beta = T(\alpha) \} R(T)={β∣∃α∈Vn​(F), β=T(α)}是$V_n(F)$的子空间，称为T的像空间 \quad 等价于求$T(\alpha )$组成的结果集合
零空间： N ( T ) = { α ∣ T ( α ) = 0 } N(T) = \{\alpha | T(\alpha) = 0 \} N(T)={α∣T(α)=0}是$V_n(F)$的子空间，称为T的零空间。 \quad 等价于求$T(\alpha )=0时\alpha 的解$
{ α 1 ,   α 2 ,   ⋯   ,   α n } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} {α1​, α2​, ⋯, αn​}为V的基，则 R ( T ) = L { T ( α 1 ) ,   T ( α 2 ) ,   ⋯   ,   T ( α n ) } R(T) = L\{T(\alpha_1),\ T(\alpha_2),\ \cdots,\ T(\alpha_n)\} R(T)=L{T(α1​), T(α2​), ⋯, T(αn​)}

6.6 交空间与和空间

概念

交空间： W 1 ∩ W 2 = { α ∣ α ∈ W 1 且 α ∈ W 2 } W_1 \cap W_2 = \{\alpha | \alpha \in W_1且\alpha \in W_2\} W1​∩W2​={α∣α∈W1​且α∈W2​}
和空间： W 1 + W 2 = { α ∣ α = α 1 + α 2 ,   α 1 ∈ W 1 ,   α 2 ∈ W 2 } W_1 + W_2 = \{\alpha | \alpha = \alpha_1 + \alpha_2,\ \alpha_1 \in W_1,\ \alpha_2 \in W_2\} W1​+W2​={α∣α=α1​+α2​, α1​∈W1​, α2​∈W2​}

性质

$$dim{W}_1+dim{W}_2=dim(W_1+W_2)+dim(W_1\cap W_2)$$ 其中$W_1$和$W_2$是线性空间V的子空间

7. 欧氏空间和酉空间

$V_n(F)\to F:V_n(F)\to F$ 同时满足
a. 对称性：$(\alpha ,\beta )=(\overline{\beta ,\alpha })$，$(\overline{\beta ,\alpha })$表示$(\beta ,\alpha )$的共轭
b. 线性性：$(k\alpha ,\beta )=k(\alpha ,\beta )$
$({\alpha }_1+{\alpha }_2,\beta )=({\alpha }_1,\beta )+({\alpha }_2,\beta )$
c. 正定性：$(\alpha ,\alpha )\ge 0,(\alpha ,\alpha )=0$的充要条件是$\alpha =0$
则称$(\alpha ,\beta )$是$V_n(F)$的一个内积，$[V_n(F);(\alpha ,\beta )]$为内积空间

欧式空间： 实数域R上的内积空间
酉空间： 复数域C上的内积空间
共轭： 实部相同，虚部取相反数
转置共轭矩阵： $A^H=(\overline{A}{)}^T$
向量夹角： $\theta =arccos\frac{(\alpha ,\beta )}{||\alpha ||||\beta ||}$
向量正交： $(\alpha ,\beta )=0$
标准正交向量组： 向量组 { α 1 ,   α 2 ,   ⋯   ,   α m } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_m\} {α1​, α2​, ⋯, αm​}满足
$$({\alpha }_i,{\alpha }_j)=\{\begin{array}{ll}1& i=j\\ 0& i\ne j\end{array}$$
Gram-Schmidt正交化(求正交向量组)：
$${\beta }_k={\alpha }_k-\sum _{i=1}^{k-1}\frac{({\alpha }_k,{\beta }_i)}{({\beta }_i,{\beta }_i)}{\beta }_i,k=1,2,\cdots ,m$$

其中由${\alpha }_i$组成的向量组为线性无关向量组，由${\beta }_k$组成的向量组就是正交向量组

8. 欧几里得范数

概念

向量的长度也叫做向量的欧几里得范数，即
$$||\alpha ||=\sqrt{(\alpha ,\alpha )}$$
单位向量： $||\alpha ||=1$

性质

$||k\alpha ||=||k||\cdot ||\alpha ||$

$||\alpha +\beta ||\le ||\alpha ||+||\beta ||$

$\forall \alpha \ne 0,{\alpha }^0=\frac{\alpha }{||\alpha ||},||{\alpha }^0||=1,取{\alpha }^0=\frac{\alpha }{||\alpha ||}的过程称为标准化$

9. 柯西不等式

$$\alpha 和\beta 线性相关$$

$$⟺$$

$$[V_n(F);(\alpha ,\beta )]为内积空间，\forall \alpha ,\beta \in V_n(F)，有|(\alpha ,\beta ){|}^2\le (\alpha ,\alpha )(\beta ,\beta )$$

例题

$$C^n,(\alpha ,\beta )={\beta }^H\alpha \Rightarrow |\sum _{i=1}^N{x}_i\overline{y_i}{|}^2\le \sum _{i=1}^n|x_i{|}^2\cdot \sum _{i=1}^n|y_i{|}^2$$

$$C^{n\ast n},(A,B)=tr(B^{H}A)\Rightarrow |tr(B^{H}A{)}^2|\le tr(A^{H}A)\cdot tr(B^{H}B)$$

柯西不等式可写为$$|\alpha ,\beta |\le ||\alpha ||\cdot ||\beta ||$$

10. 线性变换

概念

变换： 线性空间$V_n(F)$有对应关系T，使$\forall \alpha \in V_n(F)$，都有确定的向量${\alpha }^{\prime }=T(\alpha )\in V_n(F)$
线性变换： 变换T同时满足
$$\forall \alpha ,\beta \in V_n(F),T(\alpha +\beta )=T(\alpha )+T(\beta )$$

$$\forall k\in F,\forall \alpha \in V_n(F),T(k\alpha )=kT(\alpha )$$

可将上述两式合写为$$T(k_1{\alpha }_1+k_2{\alpha }_2)=k_{1}T({\alpha }_1)+k_{2}T({\alpha }_2)$$
线性变换与同构：
两者都保持加法和数乘运算不变
但同构要求为一一映射关系，而线性变换不需要满足

零变换： $\forall \alpha \in V_n(F),T(\alpha )=0$
恒等变换： $\forall \alpha \in V_n(F),T(\alpha )=\alpha$
矩阵： T是$V_n(F)$的线性变换， { α 1 ,   α 2 ,   ⋯   , α n } \{\alpha_1,\ \alpha_2,\ \cdots, \alpha_n\} {α1​, α2​, ⋯,αn​}是基，若$\exists A\in F^{n\ast n}$，使$$T({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)A$$ 则称A为T在基 { α 1 ,   α 2 ,   ⋯   , α n } \{\alpha_1,\ \alpha_2,\ \cdots, \alpha_n\} {α1​, α2​, ⋯,αn​}下的矩阵

性质

$T(0)=0$

$T(-\alpha )=-T(\alpha )$

$T{\sum }_{i=1}^r{k}_i{\alpha }_i={\sum }_{i=1}^r{k}_{i}T({\alpha }_i)$

若 { α 1 , α 2 , ⋯   , α s } \{\alpha_1,\quad \alpha_2,\quad \cdots,\quad \alpha_s \} {α1​,α2​,⋯,αs​}线性相关，则 { T ( α 1 ) , T ( α 2 ) , ⋯   , T ( α s ) } \{T(\alpha_1),\quad T(\alpha_2),\quad \cdots,\quad T(\alpha_s) \} {T(α1​),T(α2​),⋯,T(αs​)}也线性相关

$T_1和T_2$是两个线性变换，在基 { α 1 ,   α 2 ,   ⋯   , α n } \{\alpha_1,\ \alpha_2,\ \cdots, \alpha_n\} {α1​, α2​, ⋯,αn​}下的矩阵分别为$A_1和A_2$，则在基 { α 1 ,   α 2 ,   ⋯   , α n } \{\alpha_1,\ \alpha_2,\ \cdots, \alpha_n\} {α1​, α2​, ⋯,αn​}下：

1. $T_1+T_2$的矩阵为$(A_1+A_2)$

2. $T_1{T}_2$的矩阵为$A_1{A}_2$

3. $k{T}_1$的矩阵为$k{A}_1$

4. $T_1$可逆 $⟺$ $A_1$可逆。$T_1^{-1}$的矩阵为$A_1^{-1}$

基 { α 1 ,   α 2 ,   ⋯   ,   α n } \{\alpha_1,\ \alpha_2,\ \cdots,\ \alpha_n\} {α1​, α2​, ⋯, αn​}到基 { β 1 ,   β 2 ,   ⋯   ,   β n } \{\beta_1,\ \beta_2,\ \cdots,\ \beta_n\} {β1​, β2​, ⋯, βn​}的过渡矩阵为C，线性变换T在两组基下的矩阵分别A和B，则$$B=C^{-1}AC$$

例题

例题一

例题二

11. 正交(酉)变换

概念

内积空间上的正交变换： $\forall \alpha ,\beta \in [V_n(F);(\alpha ,\beta )]$都有$$(T(\alpha ),T(\beta ))=(\alpha ,\beta )$$
正交变换： 当内积空间为欧式空间时，变换T为正交变换
酉变换： 当内积空间为酉空间时，变换T为酉变换

性质

T是内积空间上的线性变换，则下列命题等价：

1. T是正交(酉)变换
2. T保持向量长度不变
3. T把空间$V_n(F)$的标准正交基变换为标准正交基
4. 正交变换关于任一标准正交基的矩阵C满足$C^{T}C=C{C}^T=I$；酉变换关于任一标准正交基的矩阵U满足$U^{H}U=U{U}^H=I$

正交矩阵$(C)$的行列式为$\pm 1$；酉矩阵$(U)$的行列式模长为1
$C^{-1}=C^T;U^{-1}=U^H$
正交(酉)矩阵的逆矩阵与乘积仍然是正交(酉)矩阵
n阶正交(酉)矩阵的列和行向量组是欧氏(酉)空间$R^n(C^n)$中的标准正交基

例题

例题一

本博客中所有内容均来自《矩阵论》第二版 华科，加入了一些自己的理解和简化，如有侵权，请联系删除