最小二乘法学习总结；线性预测器预测推导

1.最小二乘法、梯度下降法、牛顿法和高斯牛顿法的学习总结

1.最小二乘法
最小二乘法的原理，形式如下式：目标函数=∑（观测值−理论值）的平方
观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。

举一个最简单的线性回归的简单例子，比如我们有m个只有一个特征的样本：　
(x(1),y(1)),(x(2),y(2),…(x(m),y(m))(x(1),y(1)),(x(2),y(2),…(x(m),y(m))

样本采用下面的拟合函数：　　　　 hθ(x)=θ0+θ1x
这样我们的样本有一个特征x，对应的拟合函数有两个参数θ0和θ1需要求出。　　　　
我们的目标函数为：　　　　
J(θ0,θ1)=∑ i=1 m (y(i)−hθ(x(i))2=∑ i=1 m (y(i)−θ0−θ1x(i))2
最小二乘法便可以求出使J(θ0,θ1)J(θ0,θ1)最小时的θ0和θ1θ0和θ1，这样拟合函数就得出了。

2.梯度下降法
是一种寻找目标函数最小化的方法。

3.牛顿法
牛顿法的基本思想是利用迭代点处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。牛顿法的速度相当