凸优化学习-（二十六）无约束优化算法——牛顿法、拟牛顿法及无约束算法总结

凸优化学习

学习笔记

一、牛顿法（$\text{Newton’s method}$）

1.推导

在最速下降法中，我们的方向：
dk=arg⁡min⁡v{ f(xk+v)∣∥v∥=1} d^k=\arg\min_v\lbrace f(x^k+v)\big|\|v\|=1\rbrace dk=argvmin​{ f(xk+v)∣∣​∥v∥=1}
其中我们是对$f(x^k+v)$进行一阶泰勒展开来求$d^k$的，那么我们对其进行二阶泰勒展开，就得到了牛顿法：
dk=arg⁡min⁡v{ f(x)+∇fT(x)v+12vT∇2f(xk)v} d^k=\arg\min_v\lbrace f(x)+\nabla f^T(x)v+\frac 1 2 v^T\nabla^2f(x^k)v\rbrace dk=argvmin​{ f(x)+∇fT(x)v+21​vT∇2f(xk)v}
这就变成了一个关于$v$的二次函数，很容易求得vv