最小二乘法简介

1、背景描述

在工程应用中，我们通常会用一组观测数据去估计模型的参数，模型是我们根据经验知识预先给定的。例如，我们有一组观测数据$(x_i,y_i)$，通过简单分析，我们猜测y与x之间存在线性关系，那么我们的模型可以给定为：
$$y=kx+b$$

该模型只有两个参数，理论上，我们只需要通过两组观测值建立二元一次方程组即可求解。类似的，如果模型有n个参数，我们只需要n组观测值即可求解。换句话说，这种情况下，模型的参数是唯一确定解

但是，在实际应用中，由于我们的观测会存在误差（偶然误差、系统误差等），所以我们总会做更多观测。例如，在上述例子中，尽管只有两个参数，但是我们可能会观测n组数据：$(x_0,y_0)、(x_1,y_1)、...、(x_{n-1},y_{n-1})$，这会导致我们无法找到一条直线经过所有的点，也就是说，方程无确定解

于是，这就是我们要解决的问题：虽然没有确定解，但是我们能不能求出近似解，使得模型能在各个观测点上达到“最佳“拟合

那么“最佳”的准则是什么？可以是所有观测点到直线的距离和最小，也可以是所有观测点到直线预测点（真实值-理论值）的绝对值和最小，还可以是所有观测点到直线预测点（真实值-理论值）的平方和最小

2、最小二乘法

2.1、最小二乘准则

19世纪初（1806年），法国科学家勒让德发明了“最小二乘法”。勒让德认为，让误差（真实值-理论值）的平方和最小估计出来的模型是最接近真实情形的。换句话说，勒让德认为最佳的拟合准则是使$y_i$与$y=f(x_i)$的距离的平方和最小：
$$L=\sum _{i=1}^m(y_i-f(x_i){)}^2$$

这个准则也被称为最小二乘准则。这个目标函数取得最小值时的函数参数，就是最小二乘法的思想，所谓“二乘”就是平方的意思

勒让德在原文中提到：使误差平方和达到最小，在各方程的误差之间建立了一种平衡，从而防止了某一极端误差取得支配地位，而这有助于揭示系统的更接近真实的状态

至于为什么最佳准则就是误差平方而不是其它的，勒让德当时并没有给出解释，直到后来高斯建立了正态误差分析理论才成功回答了该问题

1829年，高斯建立了一套误差分析理论，从而证明了确实是使误差（真实值-理论值）平方和最小的情况下系统是最优的

误差分析理论其实说到底就一个结论：观察值的误差服从标准正态分布，即$ϵ\in N(0,1)$

关于正态分布的介绍见本文第4节

2.2、最小二乘法

最小二乘法就是一个数学公式，在数学上称为曲线拟合，不仅包括线性回归方程，还包括矩阵的最小二乘法

最小二乘法是解决曲线拟合问题最常用的方法。令
$$f(x)=a$$