这里讨论的是有约束条件的优化问题:
1.最速下降方向:
2.牛顿方向:
由此可以推出:
注意:
3.拟牛顿方向
由于Hessian矩阵计算起来比较麻烦,而且真实的Hessian矩阵有可能不正定,所以我们采用矩阵来近似Hessian矩阵:
类似的,可以推出:
4.共轭梯度方向
上面四种方法在求极值的时候,其收敛速度为牛顿法>拟牛顿法>共轭梯度法>最速下降法。
(二)如何选择步长
1.Wolfe条件:
目标函数充分减小条件:
上面这个式子所表示的意思是:当,固定时,把看做关于的函数的函数,假设我们记作,那么式子的左边就是函数在处的倒数,而式子的右边就是函数在点处的倒数的倍。
以上两个条件合起来叫做Wolfe条件。
2.强Wolfe条件
强Wolfe条件,顾名思义,它就是Wolfe条件的加强版:
强Wolfe条件的第一个式子和Wolfe条件是一样的。第二个式子就是在不等式两边都加了一个绝对值符号。在数学上来看,它所起到的作用是将步长限制在一个较小的领域内。
3.Glodstein条件
Goldstein方法虽然简洁,但是它可能会排除掉极小点。
以上就是线搜索的主要内容。
如有觉得上面有错误,或者有疑问,请评论,我们一起探讨。Thanks for your patience! :)