最小二乘法

一、前言

        在工程应用中，我们经常会用一组观测数据去估计模型的参数，模型是我们根据先验知识定下的。例如常见的直线模型就是y=ax+b。但实际应用生活中，往往找不到一条直线可以经过所有数据，如下图。

        针对找不到唯一的a和b去组成直线模型，即方程无解，但我们需要根据未知来预测结果，那么就需要数据拟合。

        于是这就是我们要解决的问题：虽然没有确定解，但是我们能不能求出近似解，使得模型能在各个观测点上达到“最佳“拟合。那么“最佳”的准则是什么？可以是所有观测点到直线的距离和最小，也可以是所有观测点到直线的误差（真实值-理论值）绝对值和最小，也可以是其它，如果是你面临这个问题你会怎么做？

早在19世纪，勒让德就认为让“误差的平方和最小”估计出来的模型是最接近真实情形的。

为什么就是误差平方而不是其它的，这个问题连欧拉、拉普拉斯都未能成功回答，后来是高斯建立了一套误差分析理论，从而证明了确实是使误差平方和最小的情况下系统是最优的。

二、举例说明

下面讲述的时温度和冰淇淋的销量

针对上述数据，我们大概可以得出数据基本分配在一条直线上

我们在根据最小二乘法这个方法开始计算“误差的平方和最小",带入公式如下图所示。

根据微积分，可以推算出a和b的值

但针对不同的数据，选择不同的方程结果也会不同