【数值分析】学习笔记2——最小线性二乘

---

前言

在南方科技大学学习何炳生老师的数值分析课程期间有很多收获与感悟，由衷的感谢何老师的谆谆教导，当然我希望能将课程中所学习到的，能应用到未来科研和工作中的这部分知识，以学习笔记的方式记录下来，也希望能通过这种帖子将自己作为小白对于这些知识的通俗理解分享给大家，文中一些不够准确或错误的表达，还望大家指证。
【数值分析】学习笔记目录

本章节将分享数值分析中一种用于求解超定方程组的方法——最小线性二乘

---

老样子，学习一个技术，我认为需要按照它用来干什么，它是什么，它怎么实现的，我们怎么使用它这样的逻辑进行学习，故在学习最小线性二乘之前，首先得知道它用来干什么。这里引用何老师课上一个关于测量山峰高度的例子

举个例子：有一个测量员要测量3座山峰的高度，他先站在地面的一个基准点，用工具测量了三座山峰的高度，高度（米）分别为
$$\begin{gathered} x1=1237 \\ x2=1914 \\ x3=2417 \end{gathered}$$为了测量准确起见，他又分别爬到每一个山头测量了山与山之间山顶高度的差距，即：
$$\begin{gathered} x2-x1=711 \\ x3-x1=1177 \\ x3-x2=475 \end{gathered}$$这样一来，他就得到了六个方程，通过求解这个方程组$Ax=b$就可以得到每个山头的高度。但这存在一个问题：根据线性代数中的知识，对于线性方程组，其存在解的前提条件是它的系数矩阵$A$的秩等于增广矩阵$(A|b)$的秩，且小于等于未知数 $x$ 的个数。

在很多实际应用都会用比未知数多的方程去求解未知量，这样的冗余降低了所得结果受噪声的影响，使结果更接近于真实值。

很明显，对于这个方程组其方程的数量大于未知数数量，且由于实际测量存在误差，很容易出现无解的情况，那对于这样的情况，该如何求解其最好的近似解呢，这就需要用到 最小线性二乘法。换而言之，最小线性二乘法就是一种将高维空间的向量投影到低维空间的方法。

本章节内容会涉及较多范数与条件数的概念【有关范数和条件数的介绍请参照笔记1：范数与条件数】

一.超定方程组

对于一个方程组，如果其方程数量大于其未知量个数，我们就称它为一个超定方程组，写成矩阵的形式：
$$Ax=b$$其中$A$为$m\ast n$矩阵，且$m>n$，$b$ 是 $m$ 维向量，$x$ 是 $n$ 维向量。

二.残差向量

刚刚说到，对于线性方程组而言，其存在解需要满足一定的条件，这个条件换句话说就是就是 $b$ 能否表达成 $A$ 的列向量的线性组合，而对于超定方程组而言，除非 $b$ 恰好属于空间$span(A)$，否则必然无解，即$b-Ax\ne 0$，向量 $b$ 与向量 $Ax$ 这部分差距$r$，即$r=b-Ax$就称作残差向量。

三.最小线性二乘法

在最小线性二乘中，我们并不期望将 $r$ 降为0，而是使其范数（通常为2-范数）极小化，从而得到一个近似解（最小二乘解），即
m i n { ∥ r ∥ } = m i n { ∥ b − A x ∥ } min\left \{ \left \| r \right \| \right \} = min\left \{ \left \| b - Ax \right \|\right \} \\ min{ ∥r∥}=min{ ∥b−Ax∥}使得
$$Ax\cong$$