Coding the Matrix： Week 7 Orthogonalization 学习笔记

本周主要内容有：

1. 正交投影
2. 基底求取
3. 正交互补
4. QR分解
5. 正规方程

首先由一问题导入：给定一个点 p 和一个平面，寻找平面上与 p 距离最近的点。

这一问题可以转换为：已知向量 p 和 向量集 v_1 ，... ，v_n ，寻找 Span {v_1 ， ... ，v_n} 中的一个向量使其最接近p 。

更进一步，我们可以得到这样的描述：

最后一个问题，称为最小二乘法（Least Squares）。

这一问题在机器学习中可以通过梯度下降算法求解。

这个问题还等价于：给定一个可能没有解的矩阵方程 Mx = b ，寻找它的最优解，即寻找一个解使得 b - Mx 的模尽可能的小。

下面我们将利用正交知识来获得求解这一问题的算法。