常见优化算法大汇总

Optimizing Note

本文档介绍了一些常用的优化方法，包括线性最小二乘及一些非线性的优化方法，如梯度下降法，牛顿法，高斯牛顿法，列文伯格-马尔夸特法，迭代非线性最小二乘法等。

• Optimizing Note
  • 1. Linear Optimazation
  • 2. NonLinear Optimazation
    • 2.1. Newton Algorithm (梯度法)
      • 2.1.1. 最速下降法（梯度下降法）
      • 2.1.2. 牛顿法(Newton Algorithm)
    • 2.2. Gauss-Newton Equation (or Normal Equation)
    • 2.3. Levenberg-Marquardt Algorithm
    • 2.4. Iterative Nonlinear Least Square Method(迭代非线性最小二乘法)

---

1. Linear Optimazation

设有一线性系统
$$\mathbf{y}-\mathbf{A}\mathbf{x}=\mathbf{e}\sim \mathcal{N}(0,\mathbf{\Sigma })$$ 其中 $e$ 表示误差，服从正太分布，$\mathbf{\Sigma }$ 为协方差矩阵，表示权重。

构造优化方程，
$$\mathbf{x}=\mathrm{argmin}{\mathbf{e}}^T{\Sigma }^{-1}\mathbf{e}$$解得，
$$\mathbf{x}=({\mathbf{A}}^T{\Sigma }^{-1}\mathbf{A}{)}^{-1}{\mathbf{A}}^T{\Sigma }^{-1}\mathbf{y}$$

---

2. NonLinear Optimazation

假设有优化问题：
$$\underset{x}{\min }F(\mathbf{x})=\frac{1}{2}\Vert f(\mathbf{x}){\Vert }_2^2$$其中，$x\in {\mathbb{R}}^n$, $f$ 是任意函数 $f(\mathbf{x}):{\mathbb{R}}^n\mapsto \mathbb{R}$。这里系数 $\frac{1}{2}$ 不影响结果。
要求解该问题，只需求找到其极值点，即求解：
$$\frac{\mathrm{d}F}{\mathrm{d}\mathbf{x}}=0$$
在大多数情况下，这个方程的求解起来较为困难，尝用迭代的方式求解。常常可以根据如下的流程求解：

1. 给定初值 ${\mathbf{x}}_0$;
2. 对第 $k$ 次迭代，寻找一增量 $\Delta {\mathbf{x}}_k$, 使得 $\Vert f(\mathbf{x}+\Delta \mathbf{x}){\Vert }_2^2$ 达到最小值;
3. 若 $\Delta {\mathbf{x}}_k$ 足够小，则停止迭代;
4. 否则，令 ${\mathbf{x}}_{k+1}={\mathbf{x}}_k+\Delta \mathbf{x}$ ,返回第二步

以下是几种不同的寻找 $\Delta \mathbf{x}$ 的方法。

2.1. Newton Algorithm (梯度法)

对 $F(\mathbf{x})$ 进行泰勒展开:
$$F({\mathbf{x}}_k+\Delta {\mathbf{x}}_k)\approx F({\mathbf{x}}_k)+\mathbf{J}({\mathbf{x}}_k{)}^T\Delta {\mathbf{x}}_k+\frac{1}{2}\Delta {{\mathbf{x}}_k}^T\mathbf{H}({\mathbf{x}}_k)\Delta {\mathbf{x}}_k$$其中，$\mathbf{J}(\mathbf{x})$ 为雅可比(Jacobian)矩阵，是 $F(\mathbf{x})$关于 $x$ 的一阶导数；$\mathbf{H}(\mathbf{x})$ 是二阶导数，称为海塞(Hessian)矩阵。
此时，优化问题可写成
$$\Delta \mathbf{x}=\underset{\Delta \mathbf{x}}{\mathrm{argmin}}(F(\mathbf{x})+\mathbf{J}(\mathbf{x}{)}^T\Delta \mathbf{x}+\frac{1}{2}\Delta {\mathbf{x}}^T\mathbf{H}(\mathbf{x})\Delta \mathbf{x})$$在这个优化问题中，$\mathbf{x}$ 是已知量，求解时是对$\Delta \mathbf{x}$求导。

2.1.1. 最速下降法（梯度下降法）

若保留一阶项，可让增量取梯度的反方向，可保证函数下降，有,
$$\Delta \mathbf{x}=-\lambda \mathbf{J}(\mathbf{x})$$其中，$\lambda$ 为步长，在机器学习中称为学习率。
这种方法简单，但迭代次数较多。

2.1.2. 牛顿法(Newton Algorithm)

若保留二阶项，则对 $\Delta \mathbf{x}$ 求导，有,
$$\Delta \mathbf{x}=-\mathbf{J}{\mathbf{H}}^{-1}$$
该方法称为牛顿法。这种方法相对最速下降法迭代次数较少，但矩阵 $\mathbf{H}$的计算往往伴随着巨大的计算量。

2.2. Gauss-Newton Equation (or Normal Equation)

高斯牛顿法直接对 $f(\mathbf{x})$ 进行泰勒展开，得如下优化方程：
$$\Delta \mathbf{x}=\underset{\Delta \mathbf{x}}{\mathrm{argmin}}\frac{1}{2}\Vert f(\mathbf{x})+\mathbf{J}(\mathbf{x}{)}^T\Delta \mathbf{x}{\Vert }_2^2$$其中 $\mathbf{J}(\mathbf{x})$ 是 $f(\mathbf{x})$ 的导数，不是 $F(\mathbf{x})$ 的导数。
求上式关于 $\Delta \mathbf{x}$ 的导数,令其等于零，则有
$$\mathbf{J}(\mathbf{x}){\mathbf{J}}^T(\mathbf{x})\Delta \mathbf{x}=-\mathbf{J}(x)f(\mathbf{x})$$该方程称高斯牛顿方程(Gauss-Newton Equation) 或 正规方程(Normal Equation)。
求解得，
$$\Delta \mathbf{x}=-(\mathbf{J}{\mathbf{J}}^T{)}^{-1}\mathbf{J}f$$该方法对 $\mathbf{J}{\mathbf{J}}^T$ 有一定的要求，如果 $\mathbf{J}{\mathbf{J}}^T$ 为奇异矩阵或者病态矩阵，则可能导致算法不收敛。

2.3. Levenberg-Marquardt Algorithm

列文伯格-马夸尔特法引入了信赖区域(Trust Region) 的概念，构造了如下的优化方程：
$$\Delta \mathbf{x}=\underset{\Delta \mathbf{x}}{\mathrm{argmin}}\frac{1}{2}\Vert f(\mathbf{x})+\mathbf{J}(\mathbf{x}{)}^T\Delta \mathbf{x}{\Vert }_2^2,s.t.\Vert \mathbf{D}\Delta \mathbf{x}\Vert \le \mu$$其中，$\mu$ 为信赖区域的半径，$\mathbf{D}$为系数矩阵，是一个非负数对角阵。
该方程可用拉格朗日乘数法求解，构造如下拉格朗日函数,
$$\mathcal{L}(\Delta \mathbf{x},\lambda )=\frac{1}{2}\Vert f(\mathbf{x})+\mathbf{J}(\mathbf{x}{)}^T\Delta \mathbf{x}{\Vert }_2^2+\frac{\lambda }{2}(\Vert \mathbf{D}\Delta \mathbf{x}{\Vert }_2^2-\mu )$$其中，$\lambda$ 为拉格朗日乘子。对上式求导，可得
$$\Delta \mathbf{x}=-(\mathbf{J}{\mathbf{J}}^T+\lambda {\mathbf{D}}^T\mathbf{D}{)}^{-1}\mathbf{J}f$$若取 $\mathbf{D}=\mathbf{I}$，则有
$$\Delta \mathbf{x}=-(\mathbf{J}{\mathbf{J}}^T+\lambda \mathbf{I}{)}^{-1}\mathbf{J}f$$可以看到，当 $\lambda$ 较大时，列文伯格-马夸尔特法接近一阶梯度下降法，当 $\lambda$ 较小时，列文伯格-马夸尔特法接近高斯牛顿法。

除此之外，列文伯格-马夸尔特法还对迭代流程进行了优化，引入了一个指标 $\rho$ 来衡量局部的近似程度。定义如下，
$$\rho =\frac{f(\mathbf{x}+\mathbf{\Delta }\mathbf{x})-f(\mathbf{x})}{\mathbf{J}(\mathbf{x}{)}^T\Delta \mathbf{x}}$$可以看到，分子为函数实际下降的值，分母为近似下降的值， $\rho$ 越接近 1 ，说明近似的越好；若 $\rho$ 太大，则应缩小范围；若 $\rho$ 太小，则应放大范围。列文伯格-马夸尔特法的具体流程如下:

1. 给定初值 ${\mathbf{x}}_0$，系数矩阵 $\mathbf{D}$ 和信赖区域半径 $\mu$;
2. 对第 $k$ 次迭代，寻找满足优化方程的增量 $\Delta {\mathbf{x}}_k$
3. 若 $\Delta {\mathbf{x}}_k$ 足够小，则停止迭代;
4. 否则，计算 $\rho$
5. 若 $\rho >\frac{3}{4}$, 则设置 $\mu =2\mu$，进入步骤 2
6. 若 $\rho <\frac{1}{4}$, 则设置 $\mu =\frac{1}{2}\mu$，进入步骤 2
7. 若 $\rho$ 大小合适，则令 ${\mathbf{x}}_{k+1}={\mathbf{x}}_k+\Delta {\mathbf{x}}_k$ ,返回步骤 2

一般而言，列文伯格-马夸尔特法要比高斯牛顿法更加稳定，受“病态”问题影响较小。

2.4. Iterative Nonlinear Least Square Method(迭代非线性最小二乘法)

迭代最小二乘法在测绘领域中使用的非常广泛。在测绘中，我们把$(\mathbf{x}+\Delta \mathbf{x})$ 看成是参数的真实值，把 $\mathbf{x}$ 看成是参数的近似值，则 $\Delta \mathbf{x}$ 为真实值与观测值之差，即参数的估计误差。一般情况下，我们无法直接获得想要的参数 $\mathbf{x}$，而只能观测到参数 $\mathbf{x}$ 的函数 $f(\mathbf{x})$ ，我们称之为观测值。

容易知道，如果我们参数估计的够准，即 $\Delta x\to 0$，则有，$f(\mathbf{x}+\Delta \mathbf{x})\to f(\mathbf{x})+\mathbf{J}(x{)}^T\Delta \mathbf{x}$，因此可以构造如下的优化方程:
$$\Delta \mathbf{x}=\underset{\Delta \mathbf{x}}{\mathrm{argmin}}\frac{1}{2}\Vert f(\mathbf{x})+\mathbf{J}(\mathbf{x}{)}^T\Delta \mathbf{x}-f(\mathbf{x}+\Delta \mathbf{x}){\Vert }_2^2$$求解可得，
$$\Delta \mathbf{x}=({\mathbf{J}}^T\mathbf{J}{)}^{-1}{\mathbf{J}}^T\mathbf{L}$$其中 $\mathbf{L}=f(\mathbf{x}+\Delta \mathbf{x})-f(\mathbf{x})$