Coordinate Descent 坐标轴下降法

梯度下降法、牛顿法是机器学习中复杂优化问题求解的方法。(最优化、凸优化、梯度下降和牛顿法)[]中对优化问题和梯度下降法、牛顿法进行了详细的介绍。能够使用梯度下降法和牛顿法的前提是优化目标函数是连续可导的，如果要在在目标函数中加入l1范式项，l1范式在零点处不可导，就不能使用该类梯度下降方法，而坐标轴下降方法就是来解决这类优化问题：
$$f(x)=g(x)+\sum _{i=1}^n{h}_i(x)$$
其中 $g(x)$要求是凸函数且可导，而 $h_i(x)$只要求是凸函数。

坐标下降法（英语：coordinate descent）是一种非梯度优化算法。算法在每次迭代中，在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值。在整个过程中循环使用不同的坐标方向。对于不可拆分的函数而言，算法可能无法在较小的迭代步数中求得最优解。为了加速收敛，可以采用一个适当的坐标系，例如通过主成分分析获得一个坐标间尽可能不相互关联的新坐标系(维基百科:坐标下降法）

这里需要注意的一点是，非梯度下降法，不代表在整个计算过程中都不需要计算梯度。

维基百科:坐标下降法

(https://zh.wikipedia.org/wiki/%E5%9D%90%E6%A0%87%E4%B8%8B%E9%99%8D%E6%B3%95)
坐标下降法基于的思想是多变量函数 $F(\mathbf{x})$可以通过每次沿一个方向优化来获取最小值。与通过梯度获取最速下降的方向不同，在坐标下降法中，优化方向从算法一开始就予以固定。例如，可以选择线性空间的一组基${\mathbf{e}}_1,{\mathbf{e}}_2,\dots ,{\mathbf{e}}_n$作为搜索方向。 在算法中，循环最小化各个坐标方向上的目标函数值。亦即，如果 ${\mathbf{x}}^k$已给定，那么，${\mathbf{x}}^{k+1}$的第 $i$个维度为

${\mathbf{x}}_i^{k+1}=\underset{y\in \mathbb{R}}{\mathrm{argmin}}f(x_1^{k+1},...,x_{i-1}^{k+1},y,x_{i+1}^k,...,x_n^k)$

因而，从一个初始的猜测值 ${\mathbf{x}}_0$以求得函数$F$的局部最优值，可以迭代获得 ${\mathbf{x}}_0,{\mathbf{x}}_1,{\mathbf{x}}_2,\dots$ 的序列。

通过在每一次迭代中采用一维搜索，可以很自然地获得不等式

$F({\mathbf{x}}_0)\ge F({\mathbf{x}}_1)\ge F({\mathbf{x}}_2)\ge \cdots$

可以知道，这一序列与最速下降具有类似的收敛性质。如果在某次迭代中，函数得不到优化，说明一个驻点已经达到。

这一过程可以用下图表示。

linear regression

给定$y\in R^n$,$X\in R^{n\times p}$,考虑一下线性回归问题：
$$f(x)=\underset{\beta }{\min }\frac{1}{2}\Vert y-X\beta {\Vert }_2^2$$
固定所有的${\beta }_j$，$j\ne i$，在${\beta }_i$上优化$f(x)$:
$${\nabla }_{i}f(\beta )=X_i^T(X_{\beta }-y)=X_i^T(X_i{\beta }_i+X_{-i}{\beta }_{-i}-y)=0$$ $${\beta }_i=\frac{X_i^T(y-X_{-i}{\beta }_{-i})}{X_i^T{X}_i}$$

lasso regression

lasso回归问题：
$$\underset{\beta }{\min }\frac{1}{2}||y-X\beta |{|}_2^2+\lambda ||\beta |{|}_1$$
其中$l_1$范式部分是不平滑的。
固定${\beta }_j,j\ne i$,最小化${\beta }_i$:
$$0=X_i^T{X}_i{\beta }_i+X_i^T(X_{-i}{\beta }_{-i}-y)+\lambda s_i$$。
其中$s_i\in \partial |{\beta }_i|$

Reference

• Coordinate Descent