1.线性最小二乘作为优化问题
让和
,假定
。
在这种情况下,极不可能存在向量,使得
。作为替代目标,我们尝试找到尽可能逼近求解
的
。
但是,我们必须先定义逼近概念。一种方法是尝试找到向量,使残差范数
的范数最小。
也就是说,我们希望找到一个向量,使得
同样,我们希望解决优化问题
如果令,那么求解
的点
一阶必要条件是
。
为了利用这个性质,我们需要求梯度的表达式。
对于,令
则。
观察,对于和
接着,
则有
因此,如果解决
,那么有
或者
。该等式称为线性最小二乘问题
的正规方程。现在我们必须解决一个问题:正规方程是否存在解。 为此,我们引用以下引理
引理1 对于每个矩阵,我们有
证明:如果,则
,因此
。这样
。于是
。
反之,,则
,
这样。因此
,得证
。
由于,由替代的基本定理可知,
定理得证。
现在让我们根据这个引理来检验正规方程解的存在性。
正规方程是。通过定义,
。由引理1可知,
。因此一定存在
,使得
。也就是说,无论选择矩阵
和向量
,正规方程始终是一致的。
定理2. 正规方程对所有矩阵和向量
都是一致的。
定理3.令和
。然后,对于
每个解
满足于
,这个
是
一个全局解。
- 证明:给
,有
- 接着,对于每个
,有
,
得证。
定理4. 当且仅当最小二乘法问题
有唯一解.
2.正交投影到子空间
假定子空间是,且
。
和
最小距离问题是找到
的元素尽可能逼近
。需解决的问题
解,使得