首先要了解一下向量的基本知识点:
向量:分为列向量
[
1
2
3
.
.
.
n
]
\begin{bmatrix} 1\\2 \\ 3 \\... \\n \end{bmatrix}
⎣⎢⎢⎢⎢⎡123...n⎦⎥⎥⎥⎥⎤和横向量比如
[
1
2
3
.
.
.
n
]
\begin{bmatrix} 1 &2&3 &...&n \end{bmatrix}
[123...n],都属于矩阵的一种。
基:设V为向量空间,如果r个向量
a
1
,
a
2
.
.
.
a
r
∈
V
a_1,a_2...a_r\in V
a1,a2...ar∈V且满足:
(i)
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar线性无关(就是相互之间不能表示,比如
a
1
a_1
a1不可以由
a
2
.
.
.
a
n
a_2...a_n
a2...an表示,这样才能保证他们每个表示一个维度,这里维度不一定与坐标轴平行);
(ii)
V
V
V中任意向量都可以由
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar表示,那么称
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar为向量空间
V
V
V的一个基,
r
r
r称为向量空间
V
V
V的维数,称
V
V
V为
r
r
r维向量空间,
维度:基中每一个向量都表示该向量空间的一个维度。
向量内积:设有n为向量
x
=
[
x
1
x
2
x
3
.
.
.
x
n
]
x=\begin{bmatrix} x_1\\x_2 \\ x_3 \\... \\x_n \end{bmatrix}
x=⎣⎢⎢⎢⎢⎡x1x2x3...xn⎦⎥⎥⎥⎥⎤和
y
=
[
y
1
y
2
y
3
.
.
.
y
n
]
y=\begin{bmatrix} y_1\\y_2 \\ y_3 \\... \\y_n \end{bmatrix}
y=⎣⎢⎢⎢⎢⎡y1y2y3...yn⎦⎥⎥⎥⎥⎤令
[
x
,
y
]
=
x
T
y
=
x
1
y
1
+
x
2
y
2
+
.
.
.
+
x
n
y
n
[x,y]=x^Ty=x_1y_1+x_2y_2+...+x_ny_n
[x,y]=xTy=x1y1+x2y2+...+xnyn,称
[
x
,
y
]
[x,y]
[x,y]为
x
x
x与
y
y
y的内积。内积有如下性质:
(i)
[
x
,
y
]
=
[
y
,
x
]
[x,y]=[y,x]
[x,y]=[y,x]
(ii)
[
λ
x
,
y
]
=
λ
[
x
,
y
]
[\lambda x,y]=\lambda[x,y]
[λx,y]=λ[x,y]
(iii)
[
x
+
y
,
z
]
=
[
x
,
z
]
+
[
y
,
z
]
[x+y,z]=[x,z]+[y,z]
[x+y,z]=[x,z]+[y,z]
(iv)
[
0
,
0
]
=
0
[0,0]=0
[0,0]=0
(vi)
[
x
,
y
]
≤
[
x
,
x
]
[
y
,
y
]
[x,y]\leq[x,x][y,y]
[x,y]≤[x,x][y,y]
向量的内积实际上是,解析几何(2-3维空间)中的数量积:
x
⋅
y
=
[
x
,
y
]
=
∣
x
∣
∣
y
∣
c
o
s
θ
x \cdot y=[x,y]=|x||y|cos\theta
x⋅y=[x,y]=∣x∣∣y∣cosθ
对于高维向量使用
∣
∣
x
∣
∣
=
[
x
,
x
]
=
x
1
2
+
x
2
2
.
.
.
+
x
n
2
||x||= \sqrt{ [x,x]}=\sqrt{x_1^2+x^2_2...+x_n^2}
∣∣x∣∣=[x,x]=x12+x22...+xn2 表示其长度(或范数),也就是向量的模。
所以对于高维像量我们由可以这样表示其内积:
[
x
,
y
]
=
∣
∣
x
∣
∣
∣
∣
y
∣
∣
c
o
s
θ
[x,y]=||x|| ||y||cos\theta
[x,y]=∣∣x∣∣∣∣y∣∣cosθ两个向量夹角就是
θ
=
a
r
c
c
o
s
[
x
,
y
]
∣
∣
x
∣
∣
∣
∣
y
∣
∣
\theta=arccos\frac{[x,y]}{||x|| ||y||}
θ=arccos∣∣x∣∣∣∣y∣∣[x,y]
正交基: 设n维向量
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar是向量空间
V
⊆
R
n
V\subseteq R^n
V⊆Rn的一个基,且他们两两正交,则他们是
V
V
V的正交基,若都是单位向量,则是标准正交基。
Gram-Schmidt正交变化
设
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar是空间V的一个基,求V的一个标准正交基。这就是找一组两两正交且都是单位向量的
e
1
,
e
2
.
.
.
e
r
e_1,e_2...e_r
e1,e2...er与
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar等价,这个过程称为
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar标准正交化。我们使用的方法就是 Gram-Schmidt正交变化:
b
1
=
a
1
b_1=a_1
b1=a1
b
2
=
a
2
−
[
b
1
,
a
2
]
[
b
1
,
b
1
]
b
1
b_2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}b_1
b2=a2−[b1,b1][b1,a2]b1
…
b
r
=
a
r
−
[
b
1
,
a
r
]
[
b
1
,
b
1
]
b
1
−
[
b
2
,
a
r
]
[
b
2
,
b
2
]
b
2
−
.
.
.
[
b
r
−
1
,
a
r
]
[
b
r
−
1
,
b
r
−
1
]
b
r
−
1
b_r=a_r-\frac{[b_1,a_r]}{[b_1,b_1]}b_1-\frac{[b_2,a_r]}{[b_2,b_2]}b_2-...\frac{[b_{r-1},a_r]}{[b_{r-1},b_{r-1}]}b_{r-1}
br=ar−[b1,b1][b1,ar]b1−[b2,b2][b2,ar]b2−...[br−1,br−1][br−1,ar]br−1
我们使用前面的知识可以很容易证明
b
1
,
b
2
.
.
.
b
r
b_1,b_2...b_r
b1,b2...br两两正交,且与
a
1
,
a
2
.
.
.
a
r
a_1,a_2...a_r
a1,a2...ar等价,然后再单位化操作:
e
n
=
b
n
∣
∣
b
n
∣
∣
e_n=\frac{b_n}{||b_n||}
en=∣∣bn∣∣bn
我们来证明b1与b2正交,并理解这个正交化操作的原理:
b
1
=
a
1
b_1=a_1
b1=a1
b
2
=
a
2
−
[
b
1
,
a
1
]
[
b
1
,
b
1
]
b
1
b_2=a_2-\frac{[b_1,a_1]}{[b_1,b_1]}b_1
b2=a2−[b1,b1][b1,a1]b1
那么
[
b
1
,
b
2
]
=
[
a
1
,
a
2
]
−
[
a
1
,
[
b
1
,
a
2
]
[
b
1
,
b
1
]
b
1
]
=
[
a
1
,
a
2
]
−
[
a
1
,
a
2
]
=
0
[b_1,b_2]=[a_1,a_2]-[a_1,\frac{[b_1,a_2]}{[b_1,b_1]}b_1]=[a_1,a_2]-[a_1,a_2]=0
[b1,b2]=[a1,a2]−[a1,[b1,b1][b1,a2]b1]=[a1,a2]−[a1,a2]=0。
我们知道
[
b
1
,
a
2
]
[
b
1
,
b
1
]
b
1
=
∣
∣
b
1
∣
∣
∣
∣
a
2
∣
∣
c
o
s
θ
∣
∣
b
1
∣
∣
∣
∣
b
1
∣
∣
b
1
\frac{[b_1,a_2]}{[b_1,b_1]}b_1=\frac{||b_1||||a_2||cos\theta}{||b_1||||b_1||}b_1
[b1,b1][b1,a2]b1=∣∣b1∣∣∣∣b1∣∣∣∣b1∣∣∣∣a2∣∣cosθb1,这就是求
a
2
a_2
a2在
b
1
(
a
1
)
b_1(a_1)
b1(a1)上的投影,
a
2
−
投
影
a_2-投影
a2−投影就得到了一个垂直
b
1
(
a
1
)
b_1(a_1)
b1(a1)的向量,如下图:
所以
b
1
b_1
b1与
b
2
b_2
b2垂直。