最小二乘解一定存在

\quad 我们知道最小二乘解的方程是：$$A^{T}Ax=A^{T}b$$ \quad 关于这个方程解的存在性，很多人（在csdn博客上）给出的描述是：“如果$A^{T}A$这个矩阵是可逆的，那么解存在，为$(A^{T}A{)}^{-1}{A}^{T}b$.”
\quad 但这样的描述并不完全准确。实际上，不论$A$是怎样的矩阵，最小二乘解都是存在的.

\quad 证明：易知$A^{T}A$和$A^T$具有相同的列空间。关于这点，可以参考[我的另一篇博客].(https://blog.csdn.net/Europe233/article/details/86720864)
\quad 而右端项$A^{T}b$是$A^T$列空间的一个元素；另一方面，由于$x$可任取，左端项$A^{T}Ax$可以取到$A^{T}A$列空间中任意一个元素。综上，一个存在某个$x^{\ast }$使得等式$A^{T}A{x}^{\ast }=A^{T}b$成立，也即最小二乘解一定存在。