机器学习最基础算法之最小二乘法（最小平方法）

最小二乘法（Least Squares Method, 简称LSE,又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

“最小二乘法”是对过度确定系统，即其中存在比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。

应用是在曲线拟合上。最小平方所涵义的最佳拟合，即残差（残差为：观测值与模型提供的拟合值之间的差距）平方总和的最小化。当问题在自变量（x变量）有重大不确定性时，那么使用简易回归和最小二乘法会发生问题；在这种情况下，须另外考虑变量-误差-拟合模型所需的方法，而不是最小二乘法。——维基百科

公式：

欧几里得度量：

• 简单来讲，就是能够找到未知参数，使得理论值与观测值之差的平方和达到最小。

假设投影点时向量上的一点P，定义p=xa(x为某常数)，则e=b-p,称e为误差。e与p也就是a垂直，所以有，展开为：