信赖域算法matlab_数值优化（Numerical Optimization）(2)-信赖域法

信赖域子问题与 Fidelity

信赖域法的思想很好理解：就是利用一个好解的局部模型

来近似当前迭代点附近 (附近就是一个区域

) 的函数情况

。

信赖域子问题的定义：假设

且

为目标函数，在区域

内目标函数的近似函数为

，则置信域子问题的目的是寻找

也就是说信赖域子问题求的是近似函数在信赖域内取最小时对应的自变量取值

。通常近似函数可以用二次函数来表示（注意这是关于

的函数）

其中

为模型 Hessian，这里并没有要求它是正定的。

近似函数

在点

的 Fidelity 定义为：（可以理解为两个函数斜率的比值，用来衡量近似函数的可信程度）

我们需要根据近似函数

对目标函数

的近似程度的好坏来调整信赖域的大小：令

• 如果
  且
  是用于函数下降，函数
  能够很好地近似
  ，此时我们能够增大置信域；（可以理解为
  和近似函数的斜率（导数）相近，所以
  能够较好近似
  ）