# 最小二乘法 模型_机器学习十大经典算法之最小二乘法

点击上方“计算机视觉cv”即可“进入公众号”

重磅干货第一时间送达

最小二乘法概述

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

简而言之，最小二乘法同梯度下降类似，都是一种求解无约束最优化问题的常用方法，并且也可以用于曲线拟合，来解决回归问题。

一元线性模型

如果以最简单的一元线性模型来解释最小二乘法。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面...

对于一元线性回归模型, 假设从总体中获取了m组观察值(X1，Y1)，(X2，Y2)， …，(Xm，Ym)。对于平面中的这m个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差(即总残差)达到最小。有以下三个标准可以选择：

• (1)用“残差和最小”确定直线位置是一个途径。但可能会出现计算“残差和”存在相互抵消的问题。
• (2)用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
• (3)最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

最常用的是普通最小二乘法( Ordinary  Least Square，OLS)：所选择的回归模型应该使所有观察值的残差平方和达到最小。

为了计算β0,β1的值，我们采取如下规则：β0,β1应该使计算出来的函数曲线与观察值的差的平方和最小。即Cost函数，用数学公式描述就是：

其中，表示根据y=β0+β1x估算出来的值，yi是观察得到的真实值。

明确了前面的cost function以后，后面的优化求解过程反倒变得s容易了。 
样本的回归模型很容易得出：

现在需要确定β0、β1，使cost function最小，即对公式进行求导，函数的极小值点为偏导为0的点。

将这两个方程稍微整理一下，使用克莱姆法则，很容易求解得出：

这就是最小二乘法的解法，就是求得平方损失函数的极值点。需要注意的一点是β0是常数项对应的系数，此处相当于添加了一个特征值x0且x0恒为1，也就是目标函数中的β0可以看成β0x0,这样的话就不同单独考虑常数项了(在后面的多元线性模型就用到了该性质)。

多元线性模型

如果我们推广到更一般的情况，假如有更多的模型变量x1,x2,⋯,xn，可以用线性函数表示如下：

对于m个样本来说，可以用如下线性方程组表示：