最小二乘法

       最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

      最小二乘法是一种求解无约束最优化问题的常用方法，并且也可以用于曲线拟合，来解决回归问题。最小二乘法实质就是最小化“均方误差”，而均方误差就是残差平方和的1/m(m为样本数)，同时均方误差也是回归任务中最常用的性能度量。地址如下：点击打开链接

        本文以二维空间点的拟合作为背景：假如在坐标上有一群点（x₁，y₁），（x₂，y₂），…，（x_n，y_n），其中x为横坐标，y为纵坐标，如何用数学表达式来具体描述线性回归方程。当然，由于点坐标的数量比较多，故线性回归方程不能包含所有的样本点，最小二乘法就是找到一条能满足所有点到这条线的距离平方和最小的线，这种方法就是最小二乘法了，即求出损失函数最小值。该方法的思想就是找到这条距离最小的线，可以通过不断的迭代参数值来完成这项工作。

首先明确两点：

1.我们假设在测量系统中不存在有系统误差，只存在有纯偶然误差。简单的说，就是样本点中没有错误样本点，即无噪声数据。

2.误差是符合正态分布的，因此最后误差的均值为0（这一点很重要) 。

根据上述样本点，我们可以通过使用线性方程来描述上述样本点，或者使用曲线来描述上述样本点。不管是线性方程还是曲线方法对样本的描述方法都是无数个，而我们的目的是找到最好的一条线，即误差最小。

设满足上述条件的方程为y=β₀+β₁x。我们的目的是要找到最优的值。即

其中y_ie是估计出来的值，y_i是观察得到的真实值。

这个为什么是平方呢，还可以有L0，L1、L2范式。解释详细如连接：点击打开链接

回归模型：

只需要求出β₀β₁就可以了。可以用高数中的求导即可。

将这两个方程稍微整理一下，使用克莱姆法则，很容易求解得出：

将数据样本点带入上式即可得到结果。

参考文献

https://www.zhihu.com/question/20447622

概率论与数理统计

https://blog.csdn.net/bitcarmanlee/article/details/51589143