对于一个正交基,每个向量和其他所有向量垂直,坐标轴就是互相正交的。我们还可以进一步改善:每个向量除以它的长度得到单位向量,这样的话正交基变成了标准正交基:
16、如果
那么 q1,…,qn 就是是标准正交基,由标准正交列组成的矩阵叫做 Q 。
最重要的例子是标准基,对于
这不是唯一的正交基!我们在不改变直角的情况下悬着这些轴,依然是正交基,旋转得到的矩阵我们用 Q 来表示。
如果我们有一个
接下来,说一些本篇文章的是三个主题:
- 正交矩阵 Q 的定义和性质。
Qx=b 的解,其中 Q 可以是n×n 方阵,也可以是长方形矩阵(最小二乘)。- 格拉姆-施密特方法的具体步骤以及新的矩阵分解 A=QR 。
正交矩阵
17、如果
Q
(正方行或长方形)的列是正交的,那么
正交矩阵就是列是单位正交的方阵,它的转置等于它的逆,即 QT=Q−1 。
当
QT
的
i
行乘以
注意即便
Q
是长方形矩阵,
例1:
Q
将每个向量旋转
例2:置换矩阵
P
都是正交矩阵,它的列都是单位向量,而且正交。因为每一列在不同的位置有一个1,它的转置也等于它的逆:
反对角线
P
上的元素
将点 (x,y) 反射成 (y,x) ,它的镜像是 45∘ 斜线。从几何上来看,正交矩阵 Q 是旋转矩阵和反射矩阵的乘积。
有一个性质是旋转矩阵和反射共有的,当然也就意味着每个正交矩阵也具有。但投影矩阵没有这个性质,因为它不正交或者说不可逆,投影会使向量的长度变小,而正交矩阵却保持长度不变,这个性质非常重要也非常具有代表性:
18、
它也保持内积和夹角不变,因为
(Qx)T(Qy)=xTQTQy=xTy
。对于长度而言,直接从
QTQ=I
就能看出来:
当空间被旋转或反射时,所有的内积和长度都保持不变。
接下来我们利用性质
QT=Q−1
进行计算。如果已知一组基,那么任何向量都可以用基向量来表示,对于一组标准正交基来说这是非常简便的,之后我们会看到傅里叶级数背后实际就是这一想法,所以现在问题变成找基向量的系数:
在计算
x1
时有一个小技巧,方程两边同时乘以
qT1
,那么左边就变成
qT1b
,右边除了第一项外其余项都消失了(因为
qT1qj=0
),最后留下:
因为
qT1q1=1
,所以
x1=qT1b
,同样的可以得出第二个系数
x2=qT2b
,得出所有系数后代入
b
的方程的:
接下来将标准正交基放到方阵
Q
中,向量方程
x
的元素就是内积
矩阵形式也展示了在列向量不是标准正交时发生了什么,我们依然将
b
表示为
注解1:前面我们将
b
投影到直线上时出现了
因为这些投影是正交的,那么可以应用毕达哥拉斯定理,斜边的平方等于各项平方的和:
注解2:因为
QT=Q−1
,所以
QQT=I
。当我们计算
QQT
时,得到的是
Q
行的内积结果(
长方形矩阵
这一小节讲一下
Ax=b
,其中
A
是长方形矩阵。考虑
标准正交列一般会让问题简化,在方阵中我们已经看到了效果,现在我们在长方形矩阵使用一下,重点是注意到 QQ=I ,所以 QT 依然是 Q 的左逆。
对于最小二乘,在
19、如果
最后一个方程像
p=Ax^,P=A(ATA)−1AT
,当列是标准正交时,矩阵
ATA
变成
QTQ=I
,也就是说当向量标准正交时最小二乘中难计算的部分没有了,在轴上的投影不在耦合了,
p
是各项的和
我们强调以下,投影不是重新构建
b
,只有在
注意
QTQ
是
n×n
的单位矩阵,而
QQT
是
m×m
的投影矩阵
P
,它是
例3:下面的例子比较简单但是非常典型。假设我们将点
b=(x,y,z)
投影到
x−y
平面上,那么它的投影是
p=(x,y,0)
,并且是分别在
x
轴和
这个投影矩阵是
在平面上的投影=在标准正交向量 q1,q2 上投影之和。
例4:当测试时间的平均值是零时,拟合直线得到的是正交列。我们取
t1=−3,t2=0,t3=3
,然后拟合
y=C+Dt
得到含有两个未知量的三个方程:
列
(1,1,1),(−3,0,−3)
是正交的,我们可以分别计算他们的投影,分别求出最佳系数
C^,D^
:
注意 C^=(y1+y2+y3)/3 是数据的均值,它给出了水平线的最佳拟合,而 D^t 是通过原点直线的最佳拟合。这些列是正交的,所以这两部分的和就是所以直线的最佳拟。因为列不是单位限量,所以 C^,D^ 都需要除以各自的长度。
正交列的确对求解问题带来许多方便。考虑另一种情况,如果测量时间的平均值不是0,
t¯=(t1+⋯+tm)/m
,那么时间原点就变成了
t¯
,我们不再使用
y=C+Dt
,而是用
y=c+d(t−t¯)
,距离说明:
最佳解 c^ 是均值,同时得到 d^ 的简化形式。之前 ATA 的反对角线元素是 Σti ,转变了时间 t^ 后变成零,而这个转变就是格拉姆-施密特过程。
正交矩阵在数值线性代数中非常重要,因为他们引入了不稳定性。当长度保持不变的时候,可以控制住舍入误差。正交向量已经是非常基本的技术,可能出了消元法它就是第二基本的方法了。并且由它得到的分解 A=QR 和 A=LU 一样出名。