梯度下降（Gradient Descent）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）

三、对偶

1. 线性规划中的对偶（Duality in linear programs）
2. 凸优化中的对偶（Duality in General Programs）
3. KKT条件（Karush-Kuhn-Tucker Conditions）
4. 对偶的应用及拓展（Duality Uses and Correspondences）
5. 对偶方法（Dual Methods）
6. 交替方向乘子法（Alternating Direction Method of Multipliers）

梯度下降

考虑一个无约束的，平滑的凸优化问题
$$\underset{x}{\min }f(x)$$

其中，$f$是凸函数，且在定义域$dom(f)=R^n$上是可微的。

算法

选择一个初始点$x^{(0)}\in R^n$，重复操作：
$$x^{(k)}=x^{(k-1)}-t_k\cdot \nabla f(x^{(k-1)}),k=1,2,3.,..$$

直到达到某阈值后停止。梯度下降法就是沿着梯度减小的方向，每次走一定的步长，直到到达最优点为止。

梯度下降的解释

在每一次迭代中，对当前点做二次泰勒展开：
$$f(y)\approx f(x)+\nabla f(x{)}^T(y-x)+\frac{1}{2t}\Vert y-x{\Vert }_2^2$$

这里用$\frac{1}{t}I$代替了二次项系数海森矩阵${\nabla }^{2}f(x)$。
选择下一个点$y=x^{+}$去最小化该二次近似可以得到：
$$x^{+}=x-t\nabla f(x)$$

所以，梯度下降相当于在函数的每个点处都做二次近似，然后求解最小点的位置。

步长的选择

既然梯度下降每次迭代都要走一定的步长，那这个步长要怎么选择呢？
一种简单的方式是把步长固定，每次都移动常数距离，$t_k=t,forallk=1,2,3,...$。但是这样存在问题，如果$t$太大，梯度下降可能会发散而不收敛；如果$t$太小，梯度下降就会收敛很慢。只有$t$选得“刚好”时，才能兼顾收敛性和收敛速度。另一种方法可以自适应地调整步长——回溯线性搜索

回溯线性搜索

1. 首先固定参数$0<\beta <1$和$0<\alpha \le 1/2$
2. 在每次迭代中，首先设置$t=t_{init}$，然后只要：
   $$f(x-t\nabla f(x))>f(x)-\alpha t\Vert \nabla f(x){\Vert }_2^2$$就收缩$t=\beta t$
3. 重复步骤2，直到满足条件为止。然后进行梯度下降更新：
   $$x^{+}=x-t\nabla f(x)$$

在实践中可以进一步简化$\alpha =1/2$。

收敛性分析

已知$f$是凸函数，且在定义域$dom(f)=R^n$上是可微的。而且$\nabla f$是关于常数$L>0$ Lipschitz连续的：
$$\Vert \nabla f(x)-\nabla f(y){\Vert }_2\le L\Vert x-y{\Vert }_{2}foranyx,y$$（或者说二次微分${\nabla }^{2}f(x)⪯LI$）
那么，梯度下降有$O(1/k)$的收敛率，$k$为迭代次数。也就是说，在$O(1/ϵ)$次迭代后，可以找到$ϵ$误差的次优点。
如果$f$是强凸的，即存在$m>0$，使得$f(x)-\frac{m}{2}\Vert x{\Vert }_2^2$是凸的（或者说二次微分${\nabla }^{2}f(x)⪰mI$），那么收敛率将会达到指数收敛率$O({\gamma }^k)$，$0<\gamma <1$。也就是说，在$O(log(1/ϵ))$次迭代后，可以找到$ϵ$误差的次优点。

优缺点

优点

1. 方法简单，每次迭代都很快；
2. 对于良态的，强凸问题有很快的收敛速度。

缺点

1. 由于许多问题是非强凸或良态的，因此梯度下降往往需要很多次迭代，收敛速度很慢；
2. 不能应对不可微的函数。

在非凸问题上的分析

假设$f$是可微的，且$\nabla f$是Lipschitz连续的，但是非凸的。在这种情况下，我们不再寻找最优点，而是寻找稳定点解，那么梯度下降有$O(1/\sqrt{k})$（或$O(1/{ϵ}^2)$）的收敛率。

参考资料

CMU：Convex Optimization