让我们从向量组开始,一步一步直到完成对向量空间的讨论。
首先来考察一组向量间的相互表达——向量组的线性组合。我们都知道向量间可以相加,对单个向量还可以放缩(数乘)。那么,这两种运算组合起来会得到什么效果呢(用抽象代数的说法就是它们的闭包是什么)?这个问题先放一放,因为我们都还不知道这组向量自身的特性(它们是不是冗余的)。
在一组向量中,可能有些向量能被其他向量通过加法和数乘表示出来,这就是我们所说的向量的线性组合(线性表示)。比如,有一组向量{α1, α2, ……, αn, β}:
如果 β = k1×α1+ k2×α2+……+ kn×αn,我们就说b 可由{α1, α2, ……, αn}线性表出。
由此引出了线性相关的概念:
- 若存在一组不全为零的数k1, k2, ……, kn,使得 k1×α1+ k2×α2+……+ kn×αn= 0,则称向量组{α1, α2, ……, αn}线性相关,
- 否则称向量组{α1, α2, ……, αn}线性无关。
接下来就是如何判断一组向量组的线性组合关系。其实就是把系数k1, k2, ……, kn 解出来,所以问题规约到线性方程组的求解上。我们把向量组{α1, α2, ……, αn}排成矩阵的样子方便处理(暂记为A)
- 如果Ax = 0有非零解,则它们线性相关。
-
- 如果Ax = 0无非零解,则它们线性无关。
看似线性无关的向量组更紧凑一点,因为任何其他向量如果能被它们表示,则系数是惟一的。
β = s1×α1+ s2×α2+……+ sn×αn
β = t1×α1+ t2×α2+……+ tn×αn
则 β-β = (s1-t1)×α1+ (s2-t2)×α2+……+ (sn-tn)×αn = 0。如果s们和t们不全相等的话,岂不是说{α1, α2, ……, αn}线性相关?!
现在,我们可以抽取一组能表示所有向量的向量组,这组向量组是线性无关的。而且在这组向量中加入任何其它向量,它们都会变成线性相关的,如此特别的向量组值得我们为它取一个名字——向量组的一个极大无关组。注意是一个喔,也就是说可能还有其它的极大无关组。那么这些极大无关组有什么共同点呢?直接给出结论:它们的向量的个数是一样的,我们把这个数称为向量组的秩。
如果{α1, α2, ……, αn} 和 {β1, β2, ……, βn} 都是极大无关组,既然向量组里的任何向量都可以用极大无关组线性表示,那么
β1 = k11×α1+ k12×α2+……+ k1n×αn
β2 = k21×α1+ k22×α2+……+ k2n×αn
……
βn = kn1×α1+ kn2×α2+……+ knn×αn
写成矩阵就是 β = αK (α = [α1 α2 …… αn], β = [β1 β2 …… βn], K = [kij])
反过来,{β1, β2, ……, βn} 也是极大无关组,所以α = βK’。
似乎K 和 K‘ 互为逆矩阵,那么它们具有相同的秩咯,秩是不是刻画极大无关组的一个特征呢?事实就是这样,先给个定理:
- 矩阵的初等行变换不改变列向量组的线性组合关系。
现在终于可以考虑向量空间了。向量空间其实就是一组向量(不要谈到组就认为它是有限个)。向量空间的维数就是向量组的秩,随便选一组极大无关组作为向量空间的基。向量空间里的任何向量都可以由这组基线性表出,线性组合的系数作为这个向量在这组基下的坐标。
虽然所有点基都是平等的,但有些基更平等。它们就是正交基。
![](https://p-blog.csdn.net/images/p_blog_csdn_net/Sedgewick/EntryImages/20080730/Rene%20Descartes.jpg)
正交基的概念来源于对Descartes 坐标系的直观的抽象:某一坐标轴上的向量在与它垂直的那些坐标轴上的投影为零。
如何刻画投影呢?首先,我们需要勾股定理来导出判别正交的方法。当我们有距离的概念时,利用中垂线的思想可以导出两向量垂直的充分必要条件是内积为零(详见David C.Lay 写的《线性代数及其应用》第六章)。
正交基最大的好处就是各个基之间是“独立的”,表现为对一组正交基的线性组合做内积运算时,不同正交基的内积为零:
(u1+u2+……+un)ui = uiui
还记得Fourier 级数的系数是怎么求出来的吗,就是利用了正交性。
既然正交基有这么好的性质,能不能将一组基改造改造成正交基呢?Laplace 和 Cauchy 发现了一种叫Gram–Schmidt 的方法。
- 任取一个向量x1,v1 = x1 记由它生成的空间为W1 = span{x1}
- 再取一个向量x2,取v2 为x2 减去它在W1 上的投影所得的向量。{v1, v2} 为{x1, x2}生成的空间W2 的一组正交基。
- 再取一个向量x3,取v3 为x3 减去它在W2 上的投影所得的向量。{v1, v2, v3} 为{x1, x2, x3}生成的空间W3 的一组正交基。
- ……