迭代求解最优化问题——信赖域方法

信赖域方法

前面提到了Line Search算法分为两步，首先确定方向，然后确定步长，实际上是假设近似模型在某一方向上可以较好的代表真实模型。Trust region算法则在此基础上，假设在一个选定的可信赖区域中，可以选择一个近似模型较好的代表真实模型，从而计算迭代增量。

信赖域方法的一般形式

由上面的表述我们可以得到信赖域方法的几个要素

1. 近似模型$m_k$
2. 可信赖区域 Ω k = { x ∈ R n ∣ ∣ ∣ x − x k ∣ ∣ ≤ Δ k } \Omega_k=\{x\in R^n|||x-x_k||\le\Delta_k\} Ωk​={x∈Rn∣∣∣x−xk​∣∣≤Δk​}，其中${\Delta }_k$称为信赖域半径
3. 迭代增量$p_k$。包括方向和步长。

由此我们可以得到信赖域方法的基本形式
假设目标函数为$f(x)$,令$m_k(p)=f(x_k+p)$。在第k次迭代中的增量
$$p_k=\arg \underset{k}{\min }{m}_k(p)s.t.||p||\le {\Delta }_k$$

这个问题称为信赖域方法的子问题。该问题为带约束的优化问题。可以使用KKT条件进行求解。但是实际问题中我们并不一定要找到最优解。

近似模型的选取

近似模型的选取可以有很多种。一般在当前的邻域对函数进行泰勒展开并取前几项就得到了一个近似模型。在此不多举例。

衡量近似模型对于真实模型的效果，我们使用预测下降量与实际下降量的比值来评判。

假设求解上面的优化问题得到第k步的增量为$p_k$。目标函数在第k步的实际下降量记为
$$Are{d}_k=f(x_k)-f(x_k+p_k)$$
近似模型的下降量为：
$$Pre{d}_k=m_k(0)-m_k(p_k)$$
定义比值:
$$r_k=Are{d}_k/Pre{d}_k$$
它可以衡量二次模型与目标函数的逼近程度，$r_k$越接近于1，表明接近程度越好。

信赖域半径的确定

使用上面得到的$r_k$，我们可以确定下次迭代的信赖域半径。

1. $r_k$接近1，表明近似效果好，可以适当增加信赖域半径
2. $r_k>0$但是不接近1，保存${\Delta }_k$不变
3. $r_k$接近于0，减小信赖域半径
4. $r_k<0$，缩小信赖域

信赖域算法流程

由此我们得到信赖域算法的步骤

1. 给出初始点$x_0$和初始信赖域半径${\Delta }_0$，开始迭代
2. 计算模型在第k步的近似。求解最优化子问题，得到试探步长。
3. 求解$r_k$
4. 若$r_k\le 0.25$，缩小信赖域半径，令${\Delta }_{k+1}=||s_k||/4$。若$r_k>0.75$，扩大信赖域半径，使得${\Delta }_{k+1}=2\Delta$。若$0.25<r_k\le 0.75$。维持当前信赖域半径。若$r_k<0$，缩小信赖域重新计算当前试探步长。

LM算法

前面提到LM算法是一种信赖域方法，具体来说，它是选取二次函数逼近真实模型的信赖域算法。

在第k次迭代左右，我们使用二次函数来近似当前模型有
$$f(x_k+p)=f_k+g_k^{T}p+\frac{1}{2}{p}^T{\Delta }^2{f}_{k}p$$
Hessian矩阵的计算过于复杂，我们经常使用对称非奇异矩阵$B_k$j近似Hessian矩阵，即
$$m_k=f_k+g_k^{T}p+\frac{1}{2}{p}^T{B}_{k}p$$
信赖域的子问题表示为
$$\hat{p}=\min m(p)=f+g^{T}p+\frac{1}{2}{p}^{T}Bps.t.||p||\le {\Delta }_k$$

使用KKT条件可以得到该问题的最优解。假设最优解为$p^{\ast }$，此时存在标量$\lambda$满足

1. $B+\lambda I=-g$
2. $\lambda (\Delta -||P^{\ast }||)=0$
3. $(B+\lambda I)$正定

可以看到LM算法中$B=J^{T}J$。条件3自然满足。从而得到$(J^{T}J+\lambda I)p_k=-J^{T}b$。这里实际上是使用了$\lambda$隐式的表达信赖域。

DogLeg方法

类似LM算法，DogLeg方法同样结合了高斯牛顿法和梯度下降法。不同的是它显式的使用了信赖域。

使用高斯牛顿法和梯度下降法分别得到迭代的步长${\delta }_{gn}$和${\delta }_{sd}$。对半径为$\Delta$的信赖域使用DogLeg方法计算出来的步长为
$${\delta }_{dl}:=\{\begin{array}{rlr}& {\delta }_{gn},& ||{\delta }_{gn}||<\Delta \\ & \frac{\Delta }{{\delta }_{sd}}{\delta }_{sd},& ||{\delta }_{sd}||>\Delta \\ & {\delta }_{sd}+\beta ({\delta }_{gn}-{\delta }_{sd}),& ||{\delta }_{gn}||>\Delta ,||{\delta }_{sd}||<\Delta \end{array}$$
可以看到，DogLeg方法实际上使用了如下策略：

1. 如果高斯牛顿法的步长小于信赖域半径，则等同于高斯牛顿法
2. 如果高斯牛顿法和梯度下降法步长都大于信赖域半径，则将梯度下降法的步长缩放到信赖域半径。
3. 如果不满足以上条件，则以连接${\delta }_{gn}$与${\delta }_{sd}$的端点，与信赖域相交于某一点d，从原点指向d的向量即为本次迭代的步长。