数值优化（二）：信赖域方法与二维空间法

信赖域方法和线搜索类似都是迭代方法，与其不同的是，每次迭代时，在一个选定的可信赖区域内，选择当前迭代点的近似模型 mkmk ，然后计算最优步长；如果步长不合适，可以对区域进行缩放。该小结主要介绍：

1. 信赖域方法的基本形式
2. 求解信赖域的基础方法
3. 信赖域方法的收敛性和收敛速度
4. 信赖域方法的扩展

信赖域方法的基本形式

在信赖域方法中，可信赖的区域（Region）的选择很重要，一般都会根据上一步结果进行动态变化；如果上一步太大则缩小，否则进行扩大。 
在模型最优化问题中，选择TR方法比LS方法能够较快的收敛，例如 
在该例子中，在非凸函数F中，当前步骤TR方法要优于LS。 
信赖域方法有几个参数需要选择： 
1. 近似模型 mkmk 
2. 可信赖区域 ΔkΔk 
3. 求解参数 pkpk

基本形式

在本节中模型选择为二次近似模型，采用函数二阶泰勒展开，即

f(xk+p)=fk+gTkp+12pT∇2fkpf(xk+p)=fk+gkTp+12pT∇2fkp

一般情况下会用 BkBk 去近似Hessian矩阵，即

mk=fk+gTk+12pTBkpmk=fk+gkT+12pTBkp

其中 BkBk为对称矩阵。

信赖域的基本形式为：

min mk(p)=fk+gTk+12pTBkps.t ||p||≤Δkmin mk(p)=fk+gkT+12pTBkps.t ||p||≤Δk

该问题为关于p的带约束的最优化问题，参数p被限制在一个球形区域内。如果BkBk选择为Hessian，则为TR的牛顿方法。 
如果||B−1kgk||≤Δk||Bk−1gk||≤Δk则 pk=−B−1kgkpk=−Bk−1gk为完全步(Full Step)，即球形约束没有作用。

ΔkΔk的选择

参数ΔkΔk的选择一般会根据上一步的结果进行调整，定义

ρk=fk−f(xk+pk)mk(0)−mk(pk)ρk=fk−f(xk+pk)mk(0)−mk(pk)

其中分子表示函数实际减小的值；分母表示近似模型减少的值。分析 ρkρk: 
1. 如果 ρkρk 小于0，一般情况下分母不可能小于0，因为目标函数求解的是最小值；此时说明分子小于0，即下一个目标点比上一步大，此时需要舍弃。 
2. 如果