暴力拆解《Numerical Optimization》之信任域方法（下）——柯西点

前面一篇博客写到了的精确解。下面就分析一下的近似解。

1.柯西点

考虑的线性部分，计算，使得：

此时，我们可以解得：

该方向为目标函数的梯度负方向，其长度为。要注意，这个时候我们所要求的还没有求出来，的求解公式为：

我们需要求解，使在信任域的范围内，并且的值最小：

可以解得：

a.当时，越大，越小，所以应该取最大值等于1（因为不能超出信任域范围）。

b.当时，将代入模型函数，可得：

对求导，可得：

另上式为0，可得：

当在信任域范围内时，我们当仁不让的应该取。但是，若超出了信任域的边界，根据我们可以推出，是小于0的。那么说明：

对于来说是单调递减的，所以也应该取它所能取到的最大值1。

对于柯西点我们需要注意的是：

a.j即使没有抵达信任域边界，它也不是整步。因为整步的方向是模型函数的牛顿方向方向，而柯西点的方向是目标函数梯度的负方向。

b.当小于1时，意味着在这个位置——信任域以内的位置，它已经在目标函数梯度负方向的反方向上已经抵达最小值。

下一节将介绍求解的近似解的狗腿方法（Dog Leg Method）。