1.线性最小二乘作为优化问题
让和,假定。
在这种情况下,极不可能存在向量,使得。作为替代目标,我们尝试找到尽可能逼近求解的。
但是,我们必须先定义逼近概念。一种方法是尝试找到向量,使残差范数 的范数最小。
也就是说,我们希望找到一个向量,使得
同样,我们希望解决优化问题
如果令,那么求解的点一阶必要条件是。
为了利用这个性质,我们需要求梯度的表达式。
对于,令
则。
观察,对于和
接着,
则有
因此,如果解决,那么有或者。该等式称为线性最小二乘问题的正规方程。现在我们必须解决一个问题:正规方程是否存在解。 为此,我们引用以下引理
引理1 对于每个矩阵,我们有
证明:如果,则,因此。这样。于是。
反之,,则,
这样。因此,得证。
由于,由替代的基本定理可知,
定理得证。
现在让我们根据这个引理来检验正规方程解的存在性。
正规方程是。通过定义,。由引理1可知,。因此一定存在,使得。也就是说,无论选择矩阵和向量,正规方程始终是一致的。
定理2. 正规方程对所有矩阵和向量都是一致的。
定理3.令和。然后,对于每个解满足于
- ,这个是一个全局解。
- 证明:给,有
- 接着,对于每个,有
,
得证。
定理4. 当且仅当最小二乘法问题有唯一解.
2.正交投影到子空间
假定子空间是,且。和最小距离问题是找到的元素尽可能逼近。需解决的问题
解,使得