最小二乘法总结

最小二乘法是用来做函数拟合或者求函数极值的方法,在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里对最小二乘法做一个小结。

1.最小二乘法的原理与要解决的问题

       最小二乘法，原理的一般形式很简单，形式如下式：

              目标函数 = Σ（观测值-理论值）²

       观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的例子，比如我们有m个只有一个特征的样本：

       (x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾) … (x^(m),y^(m))

       样本采用下面的拟合函数：

       h_θ(x)=θ₀+θ₁x

       这样我们的样本有一个特征x，对应的拟合函数有两个参数θ₀和θ₁需要求出。

       我们的目标函数为：

       J(θ₀,θ₁)=∑_I=1^m (y⁽ⁱ⁾−h_θ(x⁽ⁱ⁾)²=∑_I=1^m(y⁽ⁱ⁾−θ₀−θ₁x⁽ⁱ⁾)^2</