# 最小二乘法 模型_普通最小二乘法的推导证明

在统计学中，普通最小二乘法(Ordinary Least Squares，OLS)是一种用于在线性回归模型中估计未知参数的线性最小二乘法。OLS通过最小二乘法原则选择一组解释变量的线性函数的参数：最小化给定数据集中观察到的因变量(被预测变量的值)与预测变量之间残差的平方和。

一元线性回归求解过程

我们先以一元线性模型为例来说明。

假设有一组数据，我们希望求出对应的一元线性模型来拟合这一组数据：

既然要拟合，总要有一个拟合程度高低的判断标准，上文说到，最小二乘法中使用的就是误差平方和方法，所以，这时候损失函数，或者说我们的目标函数就是：

有了这个目标函数，我们要做的就是求出和使得最小，在这里就是极小值。

求极值的一个很好的方法就是求导，在这里因为有多个参数，所以，我们要分别对和求偏导：

因为,, 所以，上面第二个，也就是对的偏导可以转化为：

我们知道，目标函数取得极值时，偏导一定是等于0的，所以，我们令等于0，于是有：

接着，我们继续回到上面第一个偏导，也就是对的偏导，令，并将代入，得：

根据求和性质可得：

求和性质：

求