数值优化（Numerical Optimization）学习系列-信赖域方法

信赖域方法和线搜索类似都是迭代方法，与其不同的是，每次迭代时，在一个选定的可信赖区域内，选择当前迭代点的近似模型 $m_k$ ，然后计算最优步长；如果步长不合适，可以对区域进行缩放。该小结主要介绍：

1. 信赖域方法的基本形式
2. 求解信赖域的基础方法
3. 信赖域方法的收敛性和收敛速度
4. 信赖域方法的扩展

信赖域方法的基本形式

在信赖域方法中，可信赖的区域（Region）的选择很重要，一般都会根据上一步结果进行动态变化；如果上一步太大则缩小，否则进行扩大。
在模型最优化问题中，选择TR方法比LS方法能够较快的收敛，例如
在该例子中，在非凸函数F中，当前步骤TR方法要优于LS。
信赖域方法有几个参数需要选择：

1. 近似模型 $m_k$
2. 可信赖区域 ${\Delta }_k$
3. 求解参数 $p_k$

基本形式

在本节中模型选择为二次近似模型，采用函数二阶泰勒展开，即$$f(x_k+p)=f_k+g_k^{T}p+\frac{1}{2}{p}^T{\nabla }^2{f}_{k}p$$一般情况下会用 $B_k$ 去近似Hessian矩阵，即$$m_k=f_k+g_k^T+\frac{1}{2}{p}^T{B}_{k}p$$其中 $B_k$为对称矩阵。

信赖域的基本形式为：$$min{m}_k(p)=f_k+g_k^T+\frac{1}{2}{p}^T{B}_{k}ps.t||p||\le {\Delta }_k$$
该问题为关于p的带约束的最优化问题，参数p被限制在一个球形区域内。如果$B_k$选择为Hessian，则为TR的牛顿方法。
如果$||B_k^{-1}{g}_k||\le {\Delta }_k$则 $p_k=-B_k^{-1}{g}_k$为完全步(Full Step)，即球形约束没有作用。

${\Delta }_k$的选择

参数${\Delta }_k$的选择一般会根据上一步的结果进行调整，定义$${\rho }_k=\frac{f_k-f(x_k+p_k)}{m_k(0)-m_k(p_k)}$$其中分子表示函数实际减小的值；分母表示近似模型减少的值。分析 ${\rho }_k$:

1. 如果 ${\rho }_k$ 小于0，一般情况下分母不可能小于0，因为目标函数求解的是最小值；此时说明分子小于0，即下一个目标点比上一步大，此时需要舍弃。
2. 如果 ${\rho }_k$ 大于0并且接近1，说明模型和实际的预期比较相符合，此时可以考虑扩大${\Delta }_k$
3. 如果${\rho }_k$大于0但是明显小于1，此时可以不用调整
4. 如果${\rho }_k$大于0，但是接近0，说明模型变化范围比较大，但是实际改变比较小，此时应该收缩或者减少$\Delta$