Gram-Schmidt正交变化

首先要了解一下向量的基本知识点：
向量：分为列向量$\left[\begin{array}{c}1\\ 2\\ 3\\ ...\\ n\end{array}\right]$和横向量比如$\left[\begin{array}{ccccc}1& 2& 3& ...& n\end{array}\right]$，都属于矩阵的一种。
基：设V为向量空间，如果r个向量$a_1,a_2...a_r\in V$且满足：
（i）$a_1,a_2...a_r$线性无关(就是相互之间不能表示，比如$a_1$不可以由$a_2...a_n$表示，这样才能保证他们每个表示一个维度，这里维度不一定与坐标轴平行)；
（ii）$V$中任意向量都可以由$a_1,a_2...a_r$表示，那么称$a_1,a_2...a_r$为向量空间$V$的一个基，$r$称为向量空间$V$的维数，称$V$为$r$维向量空间，
维度：基中每一个向量都表示该向量空间的一个维度。
向量内积：设有n为向量$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ ...\\ x_n\end{array}\right]$和$y=\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\\ ...\\ y_n\end{array}\right]$令 $[x,y]=x^{T}y=x_1{y}_1+x_2{y}_2+...+x_n{y}_n$，称$[x,y]$为$x$与$y$的内积。内积有如下性质：
（i）$[x,y]=[y,x]$
(ii) $[\lambda x,y]=\lambda [x,y]$
(iii)$[x+y,z]=[x,z]+[y,z]$
(iv)$[0,0]=0$
(vi)$[x,y]\le [x,x][y,y]$
向量的内积实际上是，解析几何(2-3维空间)中的数量积：
$$x\cdot y=[x,y]=|x||y|cos\theta$$
对于高维向量使用$||x||=\sqrt{[x,x]}=\sqrt{x_1^2+x_2^2...+x_n^2}$ 表示其长度（或范数）,也就是向量的模。
所以对于高维像量我们由可以这样表示其内积：
$$[x,y]=||x||||y||cos\theta$$两个向量夹角就是$$\theta =arccos\frac{[x,y]}{||x||||y||}$$
正交基： 设n维向量$a_1,a_2...a_r$是向量空间$V\subseteq R^n$的一个基，且他们两两正交，则他们是$V$的正交基，若都是单位向量，则是标准正交基。

Gram-Schmidt正交变化

设$a_1,a_2...a_r$是空间V的一个基，求V的一个标准正交基。这就是找一组两两正交且都是单位向量的$e_1,e_2...e_r$与$a_1,a_2...a_r$等价，这个过程称为$a_1,a_2...a_r$标准正交化。我们使用的方法就是 Gram-Schmidt正交变化：
$b_1=a_1$
$b_2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1$

…

$b_r=a_r-\frac{[b_1,a_r]}{[b_1,b_1]}{b}_1-\frac{[b_2,a_r]}{[b_2,b_2]}{b}_2-...\frac{[b_{r-1},a_r]}{[b_{r-1},b_{r-1}]}{b}_{r-1}$
我们使用前面的知识可以很容易证明$b_1,b_2...b_r$两两正交，且与$a_1,a_2...a_r$等价，然后再单位化操作：
$$e_n=\frac{b_n}{||b_n||}$$

我们来证明b1与b2正交，并理解这个正交化操作的原理：

$b_1=a_1$
$b_2=a_2-\frac{[b_1,a_1]}{[b_1,b_1]}{b}_1$
那么$[b_1,b_2]=[a_1,a_2]-[a_1,\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1]=[a_1,a_2]-[a_1,a_2]=0$。
我们知道$\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1=\frac{||b_1||||a_2||cos\theta }{||b_1||||b_1||}{b}_1$，这就是求$a_2$在$b_1(a_1)$上的投影，$a_2-投影$就得到了一个垂直$b_1(a_1)$的向量，如下图：

所以$b_1$与$b_2$垂直。