施密特正交化

https://zh.wikipedia.org/wiki/格拉姆-施密特正交化

施密特正交化

在线性代数中，如果内积空间上的一组向量能够组成一个子空间，那么这一组向量（linearly independent）就称为这个子空间的一个基。Gram－Schmidt正交化提供了一种方法，能够通过这一子空间上的一个基得出子空间的一个正交基，并可进一步求出对应的标准正交基。

以施密特命名，其实Laplce与Cauchy比施密特更早发现这一方法。

向量u在向量v上的投影 $pro{j}_{v}u=\frac{<u,v>}{<v,v>}v$

三维空间的一个向量v，投影到二维空间中，v与其投影向量的差$\beta$是与二维空间正交的，即$\beta$是三维空间的一个正交基，再将$\beta$单位化即为标准正交基。

施密特算法

给定子空间的一个基$(v_1,...,v_n)$

b1 = v1,   a1 = b1/abs(b1)
b2 = v2 - <v2, a1>a1,   a2 = b2/abs(b2)
b3 = v3 - <v3, a1>a1 - <v3, a2>a2,  a3 = b3/abs(b3)
.
.
.

这样便由子空间的一个基$(v_i)$得到了一个正交基$(b_i)$，以及标准化正交基$(a_i)$。

正交化

一般在数学分析中采用格拉姆-施密特正交化作正交化的计算。在编程计算时，格拉姆-施密特正交化的数值稳定性不高，所以常用更稳定的豪斯霍尔德变换代替。另外，相对于豪斯霍尔德变换在最后直接生成所有的向量，格拉姆-施密特方法在第i步产生第i个向量，因此后者可用迭代法编写。对于含有零元素较多的向量组（例如稀疏矩阵的QR分解），还会采用吉文斯旋转。

QR分解的三种方法：施密特方法、豪斯霍尔德变换、吉文斯旋转

为什么需要正交化

这个问题也就是正交基Orthonormal basis的应用有什么？

https://julia.quantecon.org/tools_and_techniques/orth_proj.html

这篇文章是谈正交投影的应用，正交投影的应用之一就是正交化，而正交化的应用有：QR decomposition，Kalman filter等。