简单的最小二乘法

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，最常用的就是最小二乘回归求解模型参数。

1 最小二乘的原理与要解决的问题

最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，发现的过程是非常艰难的。形式如下式：

观测值就是我们的多组样本，理论值就是我们的假设拟合函数。

目标函数也就是在机器学习中常说的损失函数.

我们的目标是得到使目标函数最小化时候的拟合函数的模型。

比如有m个只有一个特征的样本：

2 最小二乘法的代数法求解

3 最小二乘法的矩阵法解法

矩阵法比代数法要简洁，且矩阵运算可以取代循环，所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。这里用上面的多元线性回归例子来描述矩阵法解法。

4 最小二乘法的局限性和适用场景

从上面可以看出，最小二乘法适用简洁高效，比梯度下降这样的迭代算法似乎方便很多，下面讨论最小二乘法的局限性。

第五，最小二乘考虑了所有噪声。。。

以上 ，重新学习了最小二乘法。