梯度下降法
牛顿法
牛顿法要求函数具有二阶连续偏导数,利用了函数在极小值点处一阶偏导数为0的必要条件进行优化。
拟牛顿法
基本思想
在牛顿迭代法中,需要计算Hessian矩阵的的逆矩阵
H−1
,这一计算比较复杂,考虑用一个n阶矩阵
Gk=G(x(k))
来近似代替
H−1k=H−1(x(k))
。
BFGS
Broyden类算法
参考资料
《统计学习方法》 附录
牛顿法要求函数具有二阶连续偏导数,利用了函数在极小值点处一阶偏导数为0的必要条件进行优化。
基本思想
在牛顿迭代法中,需要计算Hessian矩阵的的逆矩阵
H−1
,这一计算比较复杂,考虑用一个n阶矩阵
Gk=G(x(k))
来近似代替
H−1k=H−1(x(k))
。
参考资料
《统计学习方法》 附录