最优化算法(一)

前言

最优化算法在机器学习中扮演着重要的角色，很多的机器学习算法最终都会归结为如下的最优化问题

$$\min_f J(x):=\lambda\Omega(f)+R_{emp}(f)$$ 以上就是结构风险最小化，其中 $R_{emp}(f)$是期望风险。 $$R_{emp}(f):=\frac{1}{m}\sum_{i=1}^ml(f(x_i),y_i)$$ 其中 $x_i$是训练样本， $y_i$是相关的label， $l$是损失函数。
以上优化问题需要通过相应的最优化算法去求，下面会介绍如下的最优化算法，梯度下降算法，随机梯度下降，镜像下降算法，牛顿方法，拟牛顿方法，并分析算法的收敛性。

---

基础知识

凸集
如果$x\in C，y\in C，\lambda\in C，且(1-\lambda)x+\lambda x \in C$，那么 $C$是凸集。

凸函数
函数$f$如果在凸集 $X$上对任意的$x、x^\prime\in X$和任意的 $0<\lambda <1$存在 $$f(\lambda x+(1-\lambda)x^\prime) \le\lambda f(x)+(1-\lambda)f(x^\prime))$$

强凸函数
如果一个凸函数满足有且只有一个常数$\sigma>0$，使得函数$f(x)-\frac{\sigma}{2}\begin{Vmatrix}x\end{Vmatrix}^2$是凸函数，则$f(x)$是一个强凸函数，且$\sigma$叫强凸常数。

Lipschitz Continuous Gradient
假设$f(x)$凸且可导，如果存在一个常数，使得任意的$x$满足 $$\begin{Vmatrix}\nabla f(x) -\nabla f(x^\prime)\end{Vmatrix} \le L\begin{Vmatrix}x-x^\prime\end{Vmatrix}$$ 则$f(x)$是Lipschitz Continuous Gradient

Bregman Divergence(Bregman散度)
如果$f(x)$凸且可导，则Bregman散度定义如下 $$\Delta_f(x,x^\prime)=f(x)-f(x^\prime)- \left \langle x-x^\prime ,\nabla f(x^\prime) \right \rangle$$

梯度下降算法

梯度下降算法是机器学习里面最常使用的优化算法，主要是应用在高维平滑凸函数，假如目标函数$J:\mathbb R^n\to \mathbb R$，梯度下降的基本思想就是在$t$次迭代给定一个$w_t$，计算梯度$\nabla J(w_t)$，且

$$w_{t+1}=w_t-\eta_t\nabla J(w_t)$$ 其中 $\eta_t$是一个更新步长，有得到梯度方向时通常可以使用下面两种线性搜索的方法去得到步长。

确定线性搜索

因为$J(w_t-\eta_t\nabla J(w_t))$是一个关于$\eta_t$的一维凸函数，所以我们可以用一维搜索的方式如下：

$$\eta_t=argmin_\eta J(w_t-\eta \nabla J(w_t))$$

非确定线性搜索

确定线性搜索的方式比较低效，我们可以通过计算每一个步长下是不是能够使得目标函数减小，一种比较常用的充分减少的条件是wolfe conditions

$$J(w_{t+1}) \leq J(w_t) + c_1\eta_t\left \langle \nabla J(w_t),w_{t+1}-w_t \right \rangle$$ $$\left \langle\nabla J(w_t),w_{t+1}-w_t\right\rangle \ge c_2\left \langle \nabla J(w_t),w_{t+1} - w_t\right\rangle$$ 且 $0<c_1<c_2<1$

固定步长

假设$J$是一个梯度Lipschitz Continuous连续，且Lipschitz Continuous常数为L，假设梯度下降的固定长度为$\eta_t=\frac{1}{L}$

$$J(w_{t+1}) \leq J(w_t)+\left \langle\nabla J(w_t),w_{t+1}-w_t\right \rangle + \frac{1}{L}\begin{Vmatrix}w_{t+1}-w_t\end{Vmatrix}$$ $$=J(w_t)-\eta_t\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}^2+\frac{L\eta_t^2}{2}\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}^2$$ 当 $\eta_t=\frac{1}{L}$时， $\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix} \le \epsilon$至多迭代 $O(\frac{1}{\epsilon^2})$
证明:当 $\eta_t=\frac{1}{L}$时，代入上式可得 $$\frac{1}{2L}\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}^2 \le J(w_t)-J(w_{t+1})$$ 累加上式 $$\frac{1}{2L}\sum_{t=0}^T\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}^2 \le J(w_0)-J(w_T)\le J(w_0)-J(w^*)$$ 当 $t\to\infty$时， $\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}\to 0$，上式可以变型成下面式子 $$\begin{Vmatrix}\nabla J(w_T)\end{Vmatrix}\le \sqrt{\frac{2L(J(w_0)-J(w^*))}{T+1}}$$ 即 $$\sqrt{\frac{2L(J(w_0)-J(w^*))}{T+1}}=\epsilon$$
当 $J$是强凸函数，强凸系数是$\sigma$令 $c=1-\frac{\sigma}{L}$，则 $J(w_t)-J(w^*)\le \epsilon$至多 $$\frac{log((J(w_0)-J(w^*))/\epsilon)}{log(1/c)}$$ 次迭代。
证明：由于 $J$是强凸函数，所以 $$J(w_t)\le J(w^*)+\frac{1}{2\sigma}\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}^2$$ 即 $$\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}^2 \ge 2\sigma (J(w_{t+1})-J(w^*))$$ 又因为 $$\frac{1}{2L}\begin{Vmatrix}\nabla J(w_t)\end{Vmatrix}^2 \le J(w_t)-J(w_{t+1})$$ 综合上两式得 $$c(J(w_t)-J(w^*))\ge J(w_{t+1}-J(w^*))$$ 递归求解得 $$c^T(J(w_0)-J(w^*))\ge J(w_T)-J(w^*)$$ 解得如下 $$\epsilon=c^T(J(w_0)-J(w^*))$$ 这里当目标函数为强凸时，梯度下降算法收敛速度是 $O(log(1/\epsilon))$，但是还依赖于 $log(1/c)$，而 $log(1/c)\approx\frac{\sigma}{L}$，当 $\sigma \approx L$梯度下降的收敛速度最快， $\sigma \ll L$梯度下降收敛速度最慢。