无约束优化方法简介

最新推荐文章于 2021-09-22 21:25:23 发布

东风韶山

最新推荐文章于 2021-09-22 21:25:23 发布

阅读量693

点赞数

文章标签：优化牛顿法 L-BFGS 最速下降法 OWLQN

本文链接：https://blog.csdn.net/u010439508/article/details/45166777

版权

两种基本框架

一般的，对于监督学习问题，在经过一系列分析和建模后，都将目标问题转化为一个如下形式的优化问题：

min L (x) = f (x) + r (x) (1-1)

$\min L(\mathbf{x})=f(\mathbf{x})+r(\mathbf{x}) \tag{1-1}\label{1-1}$

其中， $f(x)$ 表征了模型刻画目标问题的准确程度； $r(x)$ 表征了对于模型本身施加的某种约束。

不论 $f(x)$ 和 $r(x)$ 采取何种形式，最终都需要求解出 $\eqref{1-1}$ 式的最大或最小值，而这就是所谓的优化方法。

Line Search （线搜索）

Line Search包括很多大家熟悉的优化方法，例如最速下降法（Steepest Descent）、牛顿法（Newton’s method）、拟牛顿法（Quasi-Newton）等等。该方法的基本思路如 $\eqref{1-2}$ 式所示：

x k + 1 = x k + α k p k (1-2)

$\mathbf{x}_{k+1} = \mathbf{x}_k + \alpha_k \mathbf{p}_k \tag{1-2}\label{1-2}$

其中， $\mathbf{p}_{k}$ 是当前的求解方向， $\alpha_k$ 是沿该方向移动的步长。

该方法的过程为

Repeat
- 选择方向 $\mathbf{p}_{k}$
- $\alpha_k=\arg\min L(\mathbf{x}_k+ \alpha \mathbf{p}_{k})$
- $\mathbf{x}_{k+1} = \mathbf{x}_k + \alpha_k \mathbf{p}_k$
Until 收敛

Trust Region （信赖域）

与Line Search的想法相反，该方法先确定一个region，该region以 $\mathbf{x}_k$ 为中心，以 $\delta$ 为半径。然后，在该region内选择某个步长 $\mathbf{s}_k$ 以最小化 $L$ 的某种近似模型 $m$ （一般是线性，例如 $m(\mathbf{x}_k+\mathbf{s}_k)=L(\mathbf{x}_k)+\nabla L(\mathbf{x}_k)\mathbf{s}_k$ ；或者二次模型，例如 $m(\mathbf{x}_k+s)=L(\mathbf{x}_k)+\nabla L(\mathbf{x}_k)\mathbf{s}_k + \frac{1}{2}\mathbf{s}_k\nabla^2 L(\mathbf{x}_k)\mathbf{s}_k$ ）。如果 $\mathbf{s}_k$ 同样使得 $L$ 也能够减少到相当程度，那么 $\mathbf{x}_{k+1}=\mathbf{x}_k+\mathbf{s}_k$ ；否则， $\mathbf{x}_k$ 保持不变，同时减少 $\delta$ 。

该方法的过程为

Repeat
- 选择 $\delta$
- 选择 $\mathbf{s}_k$ 以最小化 $L$ 的某种近似模型 $m$ ，且 $||\mathbf{s}_k|| < \delta$
- 如果 $\frac{L(\mathbf{x}_{k}+\mathbf{s}_{k})-L(\mathbf{x}_{k})}{m(\mathbf{x}_{k}+\mathbf{s}_{k})-m(\mathbf{x}_{k})} > \tau$ ，那么 $\mathbf{x}_{k+1}=\mathbf{x}_k+\mathbf{s}_k$ ；否则， $\delta \leftarrow \delta \cdot \gamma$ ， $\gamma < 1$
Until 收敛

Trust Region方法不如Line Search方法常见，但liblinear中的l2-loss logistic regresssion 和 svm 的优化方法使用了该方法。

Line Search

方向计算

最速下降法（Steepest Descent）

在选择方向的方法中，最速下降法是最简单的。因为它以当前点的梯度方向作为下降方向，即：

x k + 1 = x k + α g k (2-1)

$\mathbf{x}_{k+1}=\mathbf{x}_{k} + \alpha \mathbf{g}_k \tag{2-1}\label{2-1}$
其中，

gk=−∇L(xk) $\mathbf{g}_k = -\nabla L(\mathbf{x}_{k})$ 。
然后，计算最佳步长

α $\alpha$ ，使得式(2-1)取得最小值。

牛顿法（Newton’s method）

令 $\Delta\mathbf{x}_k=\alpha\mathbf{p}_k$ ，则式(1-2)可改写为

h k + 1 (Δ x) = L (x k + 1) = L (x k + Δ x) (2-2)

$h_{k+1}(\Delta\mathbf{x})=L(\mathbf{x}_{k+1})=L(\mathbf{x}_{k}+\Delta\mathbf{x}) \tag{2-2}\label{2-2}$

利用泰勒展开，有

h k + 1 (Δ x) = L (x k + Δ x) \approx L (x k) + Δ x T g k + 1 2 Δ x T H k Δ x (2-3)

$h_{k+1}(\Delta\mathbf{x})=L(\mathbf{x}_{k}+\Delta\mathbf{x})\approx L(\mathbf{x}_{k}) +\Delta\mathbf{x}^T \mathbf{g}_{k} +\frac{1}{2} \Delta\mathbf{x}^T\mathbf{H}_{k} \Delta\mathbf{x} \tag{2-3}\label{2-3}$ 其中，

Hk=∇2L(xk) $\mathbf{H}_{k}=\nabla^2 L(\mathbf{x}_{k})$ ，

gk=∇L(xk) $\mathbf{g}_{k}=\nabla L(\mathbf{x}_{k})$ 。式(2-3)右侧对

Δx $\Delta\mathbf{x}$ 求导有

\nabla h k + 1 (Δ x) = g k + H k Δ x (2-4)

$\nabla h_{k+1}(\Delta\mathbf{x})= \mathbf{g}_{k}+\mathbf{H}_{k}\Delta\mathbf{x} \tag{2-4}\label{2-4}$
令(2-4)的值为0，有

Δ x = - H - 1 k g k (2-5)

$\Delta\mathbf{x}=-\mathbf{H}^{-1}_{k}\mathbf{g}_{k} \tag{2-5}\label{2-5}$ 此时，式(2-3)取得最小值。这意味着，

−H−1kgk $-\mathbf{H}^{-1}_{k}\mathbf{g}_{k}$ 可以作为

x=xk $\mathbf{x}=\mathbf{x}_{k}$ 时的下降方向，即

pk=−H−1kgk $\mathbf{p}_k=-\mathbf{H}^{-1}_{k}\mathbf{g}_{k}$ 。

在实际中，往往取 $\mathbf{x}_{k+1}=\mathbf{x}_{k}-\alpha(\mathbf{H}^{-1}_{k}\mathbf{g}_{k})$ ，以使得 $L(\mathbf{x}_{k+1})$ 比 $L(\mathbf{x}_{k})$ 充分小。

拟牛顿法（Quasi-Newton）

求解式(2-5)涉及到矩阵求逆。当优化问题所涉及的参数非常多时，求逆的过程将非常繁琐。因此可以考虑近似求解 $\mathbf{H}^{-1}$ 。这就是所谓的拟牛顿法。

BFGS

对于 $h_{k+1}(\cdot)$ 而言，应满足

\nabla h k + 1 (Δ x) \approx g k + 1 (2-6)

$\nabla h_{k+1}(\Delta\mathbf{x}) \approx \mathbf{g}_{k+1} \tag{2-6}\label{2-6}$
因此, 根据式(2-4)有

g k + 1 = g k + H k (x k + 1 - x k) (2-7)

$\mathbf{g}_{k+1} =\mathbf{g}_{k}+\mathbf{H}_{k}(\mathbf{x}_{k+1} - \mathbf{x}_{k}) \tag{2-7}\label{2-7}$
令

s k = x k + 1 - x k (2-8)

$\mathbf{s}_k=\mathbf{x}_{k+1}-\mathbf{x}_k \tag{2-8}\label{2-8}$

y k = g k + 1 - g k (2-9)

$\mathbf{y}_k=\mathbf{g}_{k+1}-\mathbf{g}_k \tag{2-9}\label{2-9}$

H k (x k + 1 - x k) = g k + 1 - g k (2-10)

$\mathbf{H}_{k}(\mathbf{x}_{k+1}-\mathbf{x}_{k})=\mathbf{g}_{k+1}-\mathbf{g}_{k} \tag{2-10}\label{2-10}$
则有

H - 1 k y k = s k (2-11)

$\mathbf{H}_{k}^{-1}\mathbf{y}_{k}=\mathbf{s}_{k} \tag{2-11}\label{2-11}$

H - 1 k + 1 = (I - ρ k y k s T k) H - 1 k (I - ρ k s k y T k) + ρ k s k s T k (2-12)

$\mathbf{H}_{k+1}^{-1}=(I-\rho_k \mathbf{y}_{k} \mathbf{s}_{k}^T)\mathbf{H}_{k}^{-1} (I-\rho_k \mathbf{s}_{k} \mathbf{y}_{k}^T)+\rho_k \mathbf{s}_{k} \mathbf{s}_{k}^T \tag{2-12}\label{2-12}$ 其中

I $I$ 是单位矩阵，

ρk=(yTksk)−1 $\rho_k=(\mathbf{y}_{k}^T\mathbf{s}_{k})^{-1}$ 。

L-BFGS

在本算法中，不需要存储 $\mathbf{H}_{k}^{-1}$ ，而是保存 $\{\mathbf{s}_{k-i}|i=0,1,\cdots\}$ 和 $\{\mathbf{y}_{k-i}|i=0,1,\cdots\}$ 。

令 $\mathbf{V}_{k}=I-\rho_k \mathbf{y}_{k} \mathbf{s}_{k}^T$ ，则式(2-12)可写为：

H - 1 k + 1 = V T k H k V k + ρ k s k s T k (2-13)

$\mathbf{H}_{k+1}^{-1}=\mathbf{V}_{k}^T\mathbf{H}_{k}\mathbf{V}_{k}+\rho_k \mathbf{s}_{k}\mathbf{s}_{k}^T \tag{2-13}\label{2-13}$

令 $\mathbf{H}_{0}^{-1}=\mathbf{I}$ ，则有，

H - 1 1 = V T 0 H - 1 0 V 0 + ρ 0 s 0 s T 0 = V T 0 I - 1 V 0 + ρ 0 s 0 s T 0

$\begin{align} \mathbf{H}_{1}^{-1} &=\mathbf{V}_{0}^T\mathbf{H}_{0}^{-1}\mathbf{V}_{0}+\rho_0 \mathbf{s}_{0}\mathbf{s}_{0}^T =\mathbf{V}_{0}^T\mathbf{I}^{-1}\mathbf{V}_{0}+\rho_0 \mathbf{s}_{0}\mathbf{s}_{0}^T \end{align}$

H - 1 2 = V T 1 H 1 V 1 + ρ 1 s 1 s T 1 = V T 1 (V T 0 H - 1 0 V 0 + ρ 0 s 0 s T 0) V 1 + ρ 1 s 1 s T 1 = V T 1 V T 0 I V 0 V 1 + V T 1 ρ 0 s 0 s T 0 V 1 + ρ 1 s 1 s T 1

$\begin{align} \mathbf{H}_{2}^{-1} &=\mathbf{V}_{1}^T\mathbf{H}_{1}\mathbf{V}_{1}+\rho_1 \mathbf{s}_{1}\mathbf{s}_{1}^T \\ &=\mathbf{V}_{1}^T (\mathbf{V}_{0}^T\mathbf{H}_{0}^{-1}\mathbf{V}_{0}+\rho_0 \mathbf{s}_{0}\mathbf{s}_{0}^T)\mathbf{V}_{1}+\rho_1 \mathbf{s}_{1}\mathbf{s}_{1}^T \\ &= \mathbf{V}_{1}^T\mathbf{V}_{0}^T\mathbf{I}\mathbf{V}_{0}\mathbf{V}_{1}+\mathbf{V}_{1}^T\rho_0 \mathbf{s}_{0}\mathbf{s}_{0}^T\mathbf{V}_{1}+\rho_1 \mathbf{s}_{1}\mathbf{s}_{1}^T \end{align}$

H - 1 k + 1 = (V T k V T k - 1 \dots V T 1 V T 0) I (V 0 V 1 \dots V k - 1 V k) + (V T k V T k - 1 \dots V T 1) ρ 1 s 1 s T 1 (V 1 \dots V k - 1 V k) + \dots + V T k ρ k s k s T k - 1 V k - 1 + ρ k s k s T k

$\begin{align} \mathbf{H}_{k+1}^{-1} = &(\mathbf{V}_{k}^T\mathbf{V}_{k-1}^T\cdots\mathbf{V}_{1}^T\mathbf{V}_{0}^T)\mathbf{I}(\mathbf{V}_{0}\mathbf{V}_{1}\cdots\mathbf{V}_{k-1}\mathbf{V}_{k})\\&+(\mathbf{V}_{k}^T\mathbf{V}_{k-1}^T\cdots\mathbf{V}_{1}^T)\rho_1 \mathbf{s}_{1}\mathbf{s}_{1}^T(\mathbf{V}_{1}\cdots\mathbf{V}_{k-1}\mathbf{V}_{k})\\&+\cdots \\&+ \mathbf{V}_{k}^T\rho_k \mathbf{s}_{k}\mathbf{s}_{k-1}^T \mathbf{V}_{k-1}\\ &+\rho_k \mathbf{s}_{k}\mathbf{s}_{k}^T \end{align}$

L-BFGS，即limited BFGS，使用最近的 $m$ 轮迭代结果来近似 $\mathbf{H}_{k+1}$ ，从而达到了节约存储空间的目的。

OWLQN

L-BFGS方法中，需要使用到 $L(\mathbf{x})$ 的一阶导数。然而，在许多场景下无法求取目标函数的一阶导。例如， $L(\mathbf{x})$ 中的 $r(\mathbf{x})$ 采用L1正则化，即 $r(\mathbf{x})=\lambda\sum_i |x_i|$ 时，就无法直接计算其一阶导数。

OWLQN(Orthant-Wise Limited-memory Quasi-Newton)与LBFGS十分相似，所不同的只是在于计算方向 $\mathbf{p}$ 和步长 $\alpha$ 时充分考虑到了L1正则化导向稀疏的特点。其基本流程如下：

初始化 $\mathbf{x}_0$ ， $S \leftarrow \varnothing$ ， $Y \leftarrow \varnothing$
for $k=0,1,2.\cdots$
1. $\mathbf{v}_k=\nabla_{pseudo}L(\mathbf{x}_k)$
2. $\mathbf{p}_k=\mathbf{H}_k\mathbf{v}_k$
3. $\alpha_k=\arg\min L(\mathbf{x}_k+ \alpha \mathbf{p}_{k})$
4. $\mathbf{x}_{k+1} = \mathbf{x}_k + \alpha_k \mathbf{p}_k$
5. 更新 $S$ , 使得 $\mathbf{s}_k=\mathbf{x}_{k+1}-\mathbf{x}_k$
6. 更新 $Y$ , 使得 $\mathbf{y}_k=\nabla L(\mathbf{x}_{k+1})-\nabla L(\mathbf{x}_{k})$

相比于LBFGS，其中的第1、2、3、6有所不同。

需要指出，针对L1正则化有众多的优化方法，这里之所以选取OWLQN进行介绍是因为它本质是LBFGS的衍生方法。

步长计算

在已知搜索方向 $\mathbf{p}_k$ 之后，需要求取最佳步长 $\alpha_k$ ，使得 $L( \mathbf{x}_k)$ 的值下降的最多，即：

α k = arg min α > 0 ϕ (α) = arg min α > 0 L (x k + α p k)

$\alpha_k=\arg\min_{\alpha>0} \phi(\alpha) = \arg\min_{\alpha>0}L( \mathbf{x}_k+\alpha \mathbf{p}_k)$ 下面介绍求

αk $\alpha_k$ 的一些方法

回溯法

我们希望每次的步长 $\alpha_k$ 都使得函数值 $L(\mathbf{x}_k)$ 充分地下降，即

L (x k + α k p k) \leq L (x k) + c α k \nabla L (x k) T p k

$L(\mathbf{x}_k+\alpha_k\mathbf{p}_k) \le L(\mathbf{x}_k)+c\alpha_k\nabla L(\mathbf{x}_k)^{T}\mathbf{p}_k$ 其中，

c∈(0,1) $c \in (0,1)$ 。在实际中希望

c $c$ 充分的小，一般取

c=10−4 $c=10^{-4}$ 。其基本流程如下：

令 $\alpha_0>0$
$\rho \in(0,1)$
$c \in(0,1)$
for $k=0,1,2.\cdots$
1. if $L(\mathbf{x}_k+\alpha_k\mathbf{p}_k) \gt L(\mathbf{x}_k)+c\alpha_k\nabla L(\mathbf{x}_k)^{T}\mathbf{p}_k$ , return $\alpha_k$
2. $\alpha_{k+1}\leftarrow\rho\alpha_k$

4 Trust Region

以下以二次模型为近似模型，列出实现流程
初始化 $\mathbf{x}_0$
for $k=0,1,2.\cdots$
1. $\mathbf{g}\leftarrow\nabla L(\mathbf{x}_k)^T$
2. $\mathbf{H}\leftarrow\nabla^2 L(\mathbf{x}_k)$
3. if $||\mathbf{g}|| > \epsilon$ , return $\mathbf{x}_{k}$
4. $\mathbf{s}_k\leftarrow \arg\min_{||\mathbf{s}_k||<\delta}m(\mathbf{x}_k+\mathbf{s}_k)=L(\mathbf{x}_k)+\mathbf{g}^T\mathbf{s}_k + \frac{1}{2}\mathbf{s}_k^T\mathbf{H}\mathbf{s}_k$
5. $pred\leftarrow m(\mathbf{x}_k+\mathbf{s}_k)-m(\mathbf{x})$
6. $ared\leftarrow L(\mathbf{x}_k+\mathbf{s}_k)-L(\mathbf{x})$
7. if ared/pred < $\eta_1$ then $\delta \leftarrow \delta \gamma_1$ // reject step, reduce $\delta$
8. else $\mathbf{x}_{k+1}\leftarrow\mathbf{x}_k+\mathbf{s}_k$
9. if ared/pred > $\eta_2$ then $\delta \leftarrow \max \{ \delta, \gamma_2||\mathbf{s}||\}$ // enlarge $\delta$

需要指出的是，上述流程的第4步被成为信赖域法的子问题（Trust Region Subproblems）。它本质是个带约束的优化问题。具体求解的方式有很多。其中，参考文献[1]使用了共轭梯度法，可供参考。

[1] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui Wang, and Chih-Jen Lin. 2008. LIBLINEAR: A Library for Large Linear Classification. J. Mach. Learn. Res. 9 (June 2008), 1871-1874.