暴力拆解《Numerical Optimization》之信任域方法(下)——Dogleg(狗腿方法)

这一节,我们来介绍一下DogLeg方法。

还记得模型函数吗:


在Dogleg方法中,要求模型函数中的B必须是正定矩阵。至于为什么,先卖个关子,学完之后你自然就明白了。微笑


现在我们正式开始学习吧~:

由于B是正定矩阵,那么,有前面几篇博客的介绍可知,在无约束条件下,模型函数的极值在点取到。那么,

1.,那么,由上面的讨论可知

2.那么,当时,又该怎么办呢?

时,由于约束的存在,我们可以把中的二次项看做一个很小的项:


那么,的方强我们可以确定为

现在我们将结合这个方向和方向在信任域内找一个适合的,能让值下降方向。

我们再捋一捋之前的步骤:

a.若,那么一定是让模型函数下降最多的最优方向。

b.若,讨论时情况,的方向为,目标函数的梯度负方向。

现在我们处在第二种情况。

现在我们知道方向了,但是我们还不知道步长,该怎么办呢?

柯西点中使用的步长是的步长值,这里我们换一个方法,我们来讨论下面这个函数:


利用在前面介绍的方法,将这个函数对求导,可以求得

面对我们现在的这种情况,将的情况代入上面求出的中,可以求得,这里的

a.若,那么,在信任域内,选择为下降方向

b.若,那么,令,选择为下降方向。

c.若,那么,我们看下图



看到这个图,有没有产生这样一种想法,既然没有抵到信任域边界,那我们可不可以在到达之后,努力的再往方向靠一靠,让模型函数可以进一步减小,岂不是更好?Dogleg也是这么想的。看下图:



看到这里就能理解为什么要叫DogLeg方法了吧,因为在的情况下,真的很像狗腿。


综上,

其中的求解过程如下:


配图如下:




现在我们来解释为什么B一定要是正定矩阵:

因为若果B不是正定矩阵的话,不一定是一个能让模型函数值减小的方向,那么以上的讨论又有什么意义呢?


如有觉得上面有错误,或者有疑问,请评论,我们可以一起探讨一下。Thanks for your patience! :)

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值