![cb8a5fcedd0cfe6c1676e0eec40cde14.png](https://img-blog.csdnimg.cn/img_convert/cb8a5fcedd0cfe6c1676e0eec40cde14.png)
最小二乘法作为一种常见的数学优化方法,其核心思想是通过对残差平方和的最小化来进行估计。这里我们将对线性条件下的最小二乘做相关说明与介绍,即 Ordinary Least Sqaure(OLS) 普通最小二乘
线性回归
我们通过一个线性回归的例子来引入介绍OLS。这里有一组数据样本:(1,1)、(2,5)、(3,6),我们假设数据样本x、y之间呈线性关系,即我们期望采用一元线性回归模型( y=ax+b )来确定X、Y之间的具体函数关系。现在我们来将样本数据带入上述模型
我们的目的是期望通过确定参数a、b,进而确定x、y之间的函数关系。但是问题显然没有这么简单,由于多了一个样本数据致使方程组变为超定的,我们显然是无法直接求解该方程组的。那么现在我们换个思路,既然我们无法找出一条直线来满足所有给定的数据样本点,那么我们能不能找到一条直线,使得其与各个样本点之间的残差和最小?答案是肯定的,虽然这条直线不能保证经过全部的样本点,但一般可以很好地描述出x、y之间的关系。由于残差的正负问题需要添加绝对值,然而在实际计算中绝对值不好处理,故干脆直接对残差进行平方来保证非负性。其实这就是最小二乘的思想——通过对残差平方和的最小化来进行估计