对于向量
x
x
x和
y
y
y, 若
x
T
y
=
0
x^{T}y=0
xTy=0, 则称
x
x
x和
y
y
y正交, 且有
∣
∣
x
∣
∣
2
+
∣
∣
y
∣
∣
2
=
∣
∣
x
+
y
∣
∣
2
||x||^2 + ||y||^2 = ||x+y||^2
∣∣x∣∣2+∣∣y∣∣2=∣∣x+y∣∣2.
若子空间
S
S
S和子空间
T
T
T正交, 那么对任意
S
S
S中的向量
x
x
x和任意
T
T
T中的向量
y
y
y,
x
x
x和
y
y
y正交. 若两个子空间含有公共的非零向量, 那么这两个子空间必不正交. 零维子空间与其他子空间必然正交.
在四个基本子空间中, 行空间与零空间正交, 列空间与左零空间正交.
C
(
A
)
C(A)
C(A)表示空间, 则
C
(
A
T
)
C(A^T)
C(AT)表示行空间,
N
(
A
)
N(A)
N(A)表示零空间, 则
N
(
A
T
)
N(A^T)
N(AT)表示列空间. 对于
A
=
[
r
1
r
2
.
.
.
r
m
]
A=\begin{bmatrix} r_1\\ r_2\\ ...\\ r_m \end{bmatrix}
A=⎣⎢⎢⎡r1r2...rm⎦⎥⎥⎤
A
x
=
0
Ax=0
Ax=0时, 显然
r
1
x
=
0
,
r
2
x
=
0
,
.
.
.
,
r
m
x
=
0
r_1x=0,r_2x=0,...,r_mx=0
r1x=0,r2x=0,...,rmx=0而
C
(
A
T
)
C(A^T)
C(AT)是
A
A
A中各行的线性组合所组成的向量, 所以其中任意向量都必然与
x
x
x正交, 而
x
x
x正是零空间中的所有向量. 列空间与左零空间同理可得相同的结论.
此外, 对于
m
×
n
m\times n
m×n维的矩阵
A
A
A,
C
(
A
T
)
C(A^T)
C(AT)与
N
(
A
)
N(A)
N(A)互为
R
n
R^n
Rn的正交补,
C
(
A
)
C(A)
C(A)与
N
(
A
T
)
N(A^T)
N(AT)互为
R
m
R^m
Rm的正交补. 也就是说,
N
(
A
)
N(A)
N(A)含有所有正交于
C
(
A
T
)
C(A^T)
C(AT)的向量,而
N
(
A
T
)
N(A^T)
N(AT)含有所有正交于
C
(
A
)
C(A)
C(A)的向量,
C
(
A
T
)
C(A^T)
C(AT)的维数加
N
(
A
)
N(A)
N(A)的维数为
n
n
n,
C
(
A
)
C(A)
C(A)的维数加
N
(
A
T
)
N(A^T)
N(AT)的维数为
m
m
m,
C
(
A
T
)
C(A^T)
C(AT)与
N
(
A
)
N(A)
N(A),
C
(
A
)
C(A)
C(A)与
N
(
A
T
)
N(A^T)
N(AT)共同包含的向量只有零向量.
如果解
A
x
=
b
Ax=b
Ax=b时无解, 即
b
b
b不在
C
(
A
)
C(A)
C(A)中, 该怎么办? 可以方程两边同时左乘
A
T
A^T
AT.
A
T
A
x
=
A
T
b
A^TAx=A^Tb
ATAx=ATb 该方程一定有解, 这个解是一个“近似解”.
A
T
A
A^TA
ATA是对称方阵, 但不一定可逆.
不过
N
(
A
T
A
)
=
N
(
A
)
N(A^TA)=N(A)
N(ATA)=N(A),
r
a
n
k
(
A
T
A
)
=
r
a
n
k
(
A
)
rank(A^TA)=rank(A)
rank(ATA)=rank(A), 可以这样证明,
A
T
A
x
=
0
A^TAx=0
ATAx=0两边同乘
x
T
x^T
xT,
x
T
A
T
A
x
=
0
x^TA^TAx=0
xTATAx=0, 即
(
A
x
)
T
A
x
=
0
(Ax)^TAx=0
(Ax)TAx=0, 而向量内积非负, 故
A
x
=
0
Ax=0
Ax=0, 所以
N
(
A
T
A
)
=
N
(
A
)
N(A^TA)=N(A)
N(ATA)=N(A),
r
a
n
k
(
A
T
A
)
=
r
a
n
k
(
A
)
rank(A^TA)=rank(A)
rank(ATA)=rank(A)