一般线性最小二乘法

最小二乘法：

人们对由某一变量t 或多个变量$t_{1},\ldots,t_{n}$ 构成的相关变量$y$感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型

$$y_m = f(t_1,\dots, t_q;x_1,\dots,x_p)$$
q个相关变量或p个附加的相关变量去拟和。
通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型称作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。
其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。
确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：

$$\min_{\vec{x}} { \sum_{i=1}^{n}(y_m - y_i)^2}$$
用欧几里得度量表达为：
$$\min_{ \vec{x} } \| \vec{y}_{m} ( \vec{x} ) - \vec{y} \|_{2} \ $$
最小化问题的精度，依赖于所选择的函数模型。

线性函数模型

典型的一类函数模型是线性函数模型。最简单的线性式是$y = x_0 + x_1 t$，写成行列式，为

$$\min_{x_0,x_1}\left\|\begin{pmatrix}1 & t_1 \\ \vdots & \vdots \\ 1 & t_n \end{pmatrix} \begin{pmatrix} x_0\\ x_1\end{pmatrix} - \begin{pmatrix} y_1 \\ \vdots \\ y_{n}\end{pmatrix}\right\|_{2} = \min_x\|Ax-b\|_2$$
直接给出该式的参数解：
$$x_1 = \frac{\sum_{i=1}^n t_iy_i - n \cdot \bar t \bar y}{\sum_{i=1}^n t_i^2- n \cdot (\bar t)^2} 和x_0 = \bar y - x_1 \bar t$$
其中 $\bar t = \frac{1}{n} \sum_{i=1}^n t_i$，为 $t$值的算术平均值。也可解得如下形式：
$$x_1 = \frac{\sum_{i=1}^n (t_i - \bar t)(y_i - \bar y)}{\sum_{i=1}^n (t_i - \bar t)^2}$$

一般线性情况

若含有更多不相关模型变量$t_1, ..., t_q$，可如组成线性函数的形式
$y(t_1,\dots,t_q;x_0, x_1, \dots, x_q )= x_0 + x_1 t_1 + \cdots + x_q t_q$
即线性方程组

$$\begin{matrix}x_0 + x_1 t_{11} + \cdots + x_j t_{1j}+ \cdots +x_q t_{1q} = y_1\\x_0 + x_1 t_{21} + \cdots + x_j t_{2j}+ \cdots +x_q t_{2q} = y_2\\\vdots \\x_0 + x_1 t_{i1} + \cdots + x_j t_{ij}+ \cdots +x_q t_{iq}= y_i\\\vdots\\x_0 + x_1 t_{n1} + \cdots + x_j t_{nj}+ \cdots +x_q t_{nq}= y_n\end{matrix}$$
通常人们将tij记作数据矩阵 A，参数xj记做参数矢量x，观测值yi记作b，则线性方程组又可写成：
$$\begin{pmatrix}1 & t_{11} & \cdots & t_{1j} \cdots & t_{1q}\\1 & t_{21} & \cdots & t_{2j} \cdots & t_{2q}\\\vdots \\1 & t_{i1} & \cdots & t_{ij} \cdots & t_{iq}\\\vdots\\1 & t_{n1} & \cdots & t_{nj} \cdots & t_{nq}\end{pmatrix}\cdot\begin{pmatrix}x_0\\x_1\\x_2\\\vdots \\x_j\\\vdots\\x_q\end{pmatrix}=\begin{pmatrix}y_1\\y_2\\\vdots \\y_i\\\vdots\\y_n\end{pmatrix}$$
即 $Ax = b$
上述方程运用最小二乘法导出为线性平差计算的形式为：
$\min_x\|Ax-b\|_2$

最小二乘法的解

定理：线性方程组$Ax=b$的LS问题一定有解，且求解LS问题与求解线性方程组的法方程组等价

$$A^TAx=A^Tb$$

证明：
$rank(A)=rank(A^TA)\Rightarrow \\ rank(A^TA)\leq rank([A^TA,A^Tb])=rank(a^T[A,b])\leq rank(A^T)=rank(A) \Rightarrow \\ rank(A^TA)=rank([A^TA,A^Tb])$
从而方程组一定有解

$$\left. \begin{aligned} f(x)=\|b-Ax\|^2 \\ \|b-Ax^*\|^2=\min_{x\in R^n}\|b-Ax\|^2 \end{aligned} \right\} \Rightarrow$$
$$grad f(x^*)=(\frac{\partial f(x^*)}{\partial x_1},\frac{\partial f(x^*)}{\partial x_2},\ldots , \frac{\partial f(x^*)}{\partial x_n})^T=0 \\ \Rightarrow 2(A^TAx^*-A^Tb)=0$$
说明LS解必定是法方程组的解
$$A^TAx^*=A^Tb \Rightarrow A^T(Ax^*-b)=0 \\ \Rightarrow Ax^*-b \bot R(A)=\{y \in R^m | y=Ax, x \in R^n\} \\ \Rightarrow \|b-Ax\|^2=\|(b-Ax^*)+A(x^*-x)\|^2=\|b-Ax^*\|^2+\|A(x^*-x)\|^2 \geq \|b-Ax^*\|^2$$
说明法方程组的解必定是LS解

推论：当秩$(A_{m \times n})=n$时，$A^TA$为对称正定矩阵，最小二乘法问题有唯一解

$$x_{LS}=(A^TA)^{-1}A^Tb$$
其中 $(A^TA)^{-1}A^T$称为A的伪逆矩阵，标记为 $\boldsymbol{A}^\dagger$

证明：
先将b拆成A的值域及其正交补两部分
$\boldsymbol{b}=\boldsymbol{b}_{1}+\boldsymbol{b}_{2}$
$\boldsymbol{b}_{1}=\boldsymbol{A}\boldsymbol{A}^\dagger\boldsymbol{b}\in R\left(\boldsymbol{A} \right)$
$\boldsymbol{b}_{2}=\left(\boldsymbol{I}- \boldsymbol{A}\boldsymbol{A}^\dagger \right)\boldsymbol{b}\in R\left(\boldsymbol{A} \right)^{\bot}$
所以$\boldsymbol{Ax}-\boldsymbol{b}_{1}\in R\left(\boldsymbol{A} \right)$，可得

$$\left \| \boldsymbol{Ax}- \boldsymbol{b} \right \|^{2}=\left \| \boldsymbol{Ax}- \boldsymbol{b}_{1} +\left(-\boldsymbol{b}_{2}\right) \right \|^{2}=\left \| \boldsymbol{Ax}- \boldsymbol{b}_{1} \right \|^{2}+\left \|\boldsymbol{b}_{2} \right \|^{2}$$
故当且仅当 $\boldsymbol{x}$是 $\boldsymbol{Ax}= \boldsymbol{b}_{1} =\boldsymbol{A}\boldsymbol{A}^\dagger\boldsymbol{b}$解时， $\boldsymbol{x}$即为最小二乘解，即 $\boldsymbol{x}=\boldsymbol{A}^\dagger \boldsymbol{b}$。
又因为
$N\left(\boldsymbol{A}\right)=N\left(\boldsymbol{A}^\dagger \boldsymbol{A}\right)=R\left(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A}\right)=\left\{ \left(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A} \right) \boldsymbol{h}:\boldsymbol{h}\in\mathbf{C}^{n} \right\}$
故 $\boldsymbol{Ax}=\boldsymbol{A}\boldsymbol{A}^\dagger\boldsymbol{b}$的通解为
$\boldsymbol{x}=\boldsymbol{A}^\dagger\boldsymbol{b}+\left(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A} \right) \boldsymbol{h}:\boldsymbol{h}\in\mathbf{C}^{n}$
因为
$$\begin{align}\left \| \boldsymbol{A}^\dagger\boldsymbol{b}\right \|^{2} & < \left \| \boldsymbol{A}^\dagger\boldsymbol{b} \right \|^{2}+ \left \| \left(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A} \right) \boldsymbol{h} \right \|^{2} \\& = \left \| \boldsymbol{A}^\dagger\boldsymbol{b} + \left(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A} \right) \boldsymbol{h} \right \|^{2},\left(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A} \right) \boldsymbol{h}\neq\boldsymbol{0} \\\end{align}$$
所以 $\boldsymbol{A}^\dagger \boldsymbol{b}$又是二范数极小的最小二乘解。

例题：

求解超定方程组的最小二乘问题：

$$\left\{ \begin{aligned} 2x_1 + 4x_2 = 1 \\ 3x_1 - 5x_2 = 3 \\ x_1 + 2x_2 = 6 \\ 2x_1 - x_2 = 7 \end{aligned} \right. \Rightarrow A=\begin{equation} \left( \begin{array}{ccc} 2 & 4 \\ 3 & -5 \\ 1 & 2 \\ 2 & 1 \end{array} \right) \end{equation}, b=\begin{pmatrix} 1 \\ 3 \\ 6 \\ 7\end{pmatrix}$$
系数矩阵A是列满秩的，古可以求最小二乘法的解！

最小二乘法解为：

最小平方残差：

本例是用法方程组来求解最小二乘法问题的解！但是这样作也可能会引出好多问题！我们提倡用QR分解来求解。