本文探讨了线性最小二乘解的存在性，证明了任何超定线性方程组都有最小二乘解。最小二乘解的几何意义在于，它是在矩阵列空间中寻找一个向量，使实际向量与该空间向量的偏差最小。当实际向量与列空间垂直时，最小二乘解为零向量。这一解释揭示了超定线性方程组最小二乘解的直观概念。
数值计算之 最小二乘法（2）最小二乘的几何意义
前言
上篇中，超定线性方程组 A x = b Ax=b Ax=b的最小二乘解满足 A T A x = A T b A^TAx=A^Tb ATAx=ATb，当 A A A是列满秩矩阵时， x = ( A T A ) − 1 A T b x=(A^TA)^{-1}A^Tb x=(ATA)−1ATb。
线性最小二乘解的存在性
首先要确定的是：对于任何超定的线性方程组 A x = b Ax=b Ax=b，都是有最小二乘解的。
证明：
A T A x = A T b r a n k ( A T A , A T b ) = r a n k ( A T ( A , b ) ) ≤ r a n k ( A T ) r a n k ( A T A , A T b ) ≥ r a n k ( A T A ) = r a n k ( A T ) ∴ r a n k ( A T A , A T b ) = r a n k ( A T A ) A^TAx=A^Tb \\ rank(A^TA,A^Tb)=rank(A^T(A,b))\le rank(A^T) \\ rank(A^TA,A^Tb)\ge rank(A^TA)=rank(A^T) \\ \therefore rank(A^TA,A^Tb)=rank(A^TA) A
最低0.47元/天 解锁文章
扫一扫
3792
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
