1.最小二乘法、梯度下降法、牛顿法和高斯牛顿法的学习总结
1.最小二乘法
最小二乘法的原理,形式如下式:目标函数=∑(观测值−理论值)的平方
观测值就是我们的多组样本,理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数,我们的目标是得到使目标函数最小化时候的拟合函数的模型。
举一个最简单的线性回归的简单例子,比如我们有m个只有一个特征的样本:
(x(1),y(1)),(x(2),y(2),…(x(m),y(m))(x(1),y(1)),(x(2),y(2),…(x(m),y(m))
样本采用下面的拟合函数: hθ(x)=θ0+θ1x
这样我们的样本有一个特征x,对应的拟合函数有两个参数θ0和θ1需要求出。
我们的目标函数为:
J(θ0,θ1)=∑ i=1 m (y(i)−hθ(x(i))2=∑ i=1 m (y(i)−θ0−θ1x(i))2
最小二乘法便可以求出使J(θ0,θ1)J(θ0,θ1)最小时的θ0和θ1θ0和θ1,这样拟合函数就得出了。
2.梯度下降法
是一种寻找目标函数最小化的方法。
3.牛顿法
牛顿法的基本思想是利用迭代点处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似,然后把二次模型的极小点作为新的迭代点,并不断重复这一过程,直至求得满足精度的近似极小值。牛顿法的速度相当