基是无关向量的集合,他们可以生成一个空间。几何上,它是坐标轴的集合,没有这些坐标轴也可以定义向量空间,但是每次我们考虑 x−y 平面和三维空间空间或 Rn 时,就会用到坐标轴,他们通常是互相垂直的!在选择基的时候,我们倾向于选择一个正交基。
正交基的想法是线性代数基本内容之一,我们需要一个基将几何转变为代数计算,而正交基可以让计算更加容易,再特殊一点:向量长度为1。对于一个正交基(正交单位向量),我们将找到
- 向量的长度 ∥x∥ ;
- 用 xTy=0 来测试是否是正交向量;
- 如何从线性无关向量中构建垂直向量
不仅向量是垂直的,子空间也可以是垂直的。我们会看到基本子空间旋转90度将会相遇,这四个子空间有两对是垂直的,一对在 Rm 中,一对在 Rn 中,这些内容将填补线性代数的基本定理。
第一步是找出向量的长度,我们用
∥x∥
来表示,在二维空间中它是直角三角形的斜边(图1a),长度的平方根据毕达哥拉斯定理得到:
∥x∥2=x21+x22
。
图1
在三维空间里,
x=(x1,x2,x3)
是盒子的对角线(图1b),两次应用毕达哥拉斯定理就能求出它的长度。首先是底面二维平面上
(x1,x2,0)=(01,2,0)
,它和垂直边
(0,0,x3)=(0,0,3)
夹角是直角,再次利用毕达哥拉斯得出斜边
∥x∥
的长度:
由此可以立刻扩展到
n
为空间,利用毕达哥拉斯
这个平方和等于
xTx
,
x=(1,2,−3)
的长度是
14−−√
:
正交向量
我们如何判断两个向量
x,y
是否正交呢?图2中正交测试是什么?在平面中旋转
x,y
,这些向量夹角为直角,所以正交,考虑
a2+b2=c2
:
利用长度公式(1),
Rn
的正交测试变为
右边的每一项
(xi−yi)2
多处一个
−2xiyi
:
当
xiyi
的和为零时,三角形才是直角的:
和
xTy=Σxiyi=yTx
表示行向量
xT
和列向量的乘积:
这个数也叫作标量乘法或点乘,用 (x,y) 或 x⋅y 表示,以后我们统一使用内积,并且使用符号 xTy 。
1、当且仅当 x,y 是正交向量时,他们的内积 xTy 是零。如果 xTy>0 ,那么他们的角度小于90度;如果 xTy<0 ,那么他们的角度大于90度。
x
长度的平方等于它和自身的内积:
图2
例1: (2,2,−1) 和 (−1,2,2) 正交,长度都为 4+4+1−−−−−−−√=3 。
有用的事实:如果非零向量 v1,⋯,vk 互相正交(每个向量和其他所有向量垂直),那么这些向量是线性无关的。
证明:假设
c1v1+⋯+ckvk=0
,为了说明
c1
必须为零,我们用
v1
和两边进行内积,根据正交性只留下了一项:
这些向量都是非零的,所以
vT1v1≠0
,从而
c1=0
。我们用每个
ci
进行同样的操作得到相同的事实,
v
得到零的唯一组合就是
Rn
中的坐标向量
e1,…,en
是最重要的正交向量,他们是单位矩阵的列,是
Rn
最简单的基,并且还是单位向量——每个长度为
∥ei∥=1
。他们都沿着坐标轴,如果坐标轴旋转,那就就产生新的基:一个新的互相正交单位向量系统,在
R2
中我们有
cos2θ+sin2θ=1
:
正交子空间
我们现在处理两个子空间的正交性。一个子空间的每个向量与另一个空间的每个向量都正交时,这两个子空间才是正交的。 R3 子空间的维数可以是0,1,2或者3,这些子空间可以用通过原点的直线或平面表示——极端的情况就是只有原点或整个空间。子空间 0 和其他所有子空间都是正交的,一条直线可以和另一条直线正交,或者和一个平面正交,但是平面不可能和一个平面正交。
考虑一间屋子,竖直的墙面和地板所在的平面看着就是垂直的啊,但是根据我们的定义,他们不是垂直的!我们在竖直墙面上随便做出两条线 v,w ,他们和两个面的交线夹角就不是直角。
2、对于
Rn
空间中的两个子空间
V,W
,如果
V
中的每个向量和
例2:假设
V
是由
这种情况下,
R4
的两个子空间维数为2和1,还有空间来容纳第三个子空间。通过
z=(0,0,5,−4)
的直线
L
垂直于
正交子空间不是偶然就出现了,他们两个是同时出现的。事实上正交子空间肯定存在:他们是基本的子空间!第一对是零空间和行空间。他们是
Rn
的子空间——行有
n
个元素并且
3、正交的基本定理:行空间和零空间( Rn )是正交的;列空间和左零空间( Rm )是正交的。
证明1:假设
x
是零空间中的向量,那么
第一个方程的关键点是:
row 1
和
x
正交。他们的内积是零,对于每个方程,右边都是零,所以
另一对正交子空间来自
ATy=0
或者
yTA=0
:
向量
y
和每个列正交,根据方程可以看出,右边全是零,因此
证明2:和无坐标的证明进行对比会非常有益,它将给出更加抽象的推理方法,我希望大家能够完全理解这个证明。
如果
x
在零空间里,那么
例3:假设
A
的秩为1,那么它的行空间和列空间都是直线:
行是
(1,3)
的倍数,零空间包含
x=(−3,1)
,它和所有的行正交,零空间和行空间是
R2
中正交的两条直线:
与此相反,其他的两个子空间在 R3 中,列空间是通过 (1,2,3) 的直线,左零空间肯定垂直于平面 y1+2y2+3y3=0 ,这个方程也就是 yTA=0 。
前两个子空间的维数为 1+1=2 ,后两个子空间维数为 1=2=3 。一般情况下,行空间和零空间维数加起来为 r+(n−r)=n ,另外两个空间为 r+(m−r)=m ,除了正交外还发生了其他事,也就是维数。
毫无疑问,零空间垂直于行空间——但是它不是全部事实。 N(A) 包含了所有垂直于行空间的向量,因为零空间是由 Ax=0 的所有解组成的。
定义:给定
Rn
的一个子空间
V
,所有和
利用这个术语,零空间是行空间的正交补:
N(A)=(C(AT))⊥
,同时行空间包含所有与零空间垂直的向量。位于行空间外的向量
z
不可能和零空间正交,因为加上
每个正交于零空间的向量都在行空间内: C(AT)=(N(A))⊥ 。
同样的推理应用到 AT 上得到对偶的结果:左零空间 N(AT) 和列空间 C(A) 是正交补的关系。他们的维数加起来 (m−r)+r=m ,至此就完成了线性代数基本定理得第二部分。第一部分给出四个子空间的维数,包括列的秩等于行的秩。现在我们还知道他们是垂直的,不仅如此,他们还是正交补的关系。
4、线性代数基本定理:零空间是行空间的正交补;左零空间是列空间的正交补。
再强调一下,行空间包含所有正交零空间的向量,列空间包含所以正交左零空间的向量。对于
Ax=b
,我们能直接看出方程要成立
b
必须在列空间,但思考一下会发现,要成立的话
5、方程 Ax=b , yTA=0 ,那么当且仅当 yTb=0 时是方程可解。
最直接的方法是
b
是列的组合,间接的方法是
当
Ax=b
的左边加起来为零时,右边也必须为零:
测试
b1+b2+b3=0
可以知道
b
正交左零空间的
矩阵和子空间
我们强调
也就是说
V⊥⊥=V
,
V,W
的维数正确的话,整个空间
Rn
就能分解为两个垂直的部分(图3)。
图3
将
Rn
分成正交的部分后,每个向量分成
x=v+w
,向量
v
是
图4总结了线性代数的基本定理,它给出了矩阵的实际效果—— 乘法
图4
- 零空间的元素变成零: Axn=0 。
- 行空间的元素变到列空间里: Axr=Ax 。
当然每个都进入到列空间——矩阵没有其他作用的。在图中我零行和列空间的大小相等,都等于维数 r 。
6、从行空间到列空间,
证明:列空间中的每个
b
是列
每个矩阵将它的行空间变到列空间。
AT 方向相反,是从 Rm 到 Rn ,也就是 C(A) 到 C(AT) 。当然转置不是逆! AT 移动的是空间而不是向量,这个操作需要 A−1 来完成,当然前提是逆存在,也就是 r=m=n 。我们这里不探讨 A−1 将零向量变成整个零空间的操作。
当
A−1
不存在时,最好的替换是伪逆
A+
。这就使
A
可逆了: