坐标上升/下降法（Coordinate Ascent/Descent）

本文partly参考周志华的西瓜书和这篇知乎文章。

学SVM时遇到二次规划要用SMO（Sequential Minimal Optimization序列最小优化）算法，在网上看资料发现坐标上升/下降法的思想和SMO相似，特别有意思，特此详细挖一下。

CA—求极大值
CD—求极小值

CA/CD是非梯度优化方法，不需要计算目标函数的梯度，在每步迭代中只沿一个坐标方向进行搜索，然后循环使用所有坐标方向来达到目标函数的局部极小值。即：每次更新多元函数中的一维（优化一个变量，沿着一个坐标方向做一维最优化），经过多次迭代直到收敛到局部最优点，但迭代的次数较多。

以求解$f(\mathbf{x})$的局部极小值为例，$\mathbf{x}=(x_1,x_2,\dots ,x_d{)}^T\in {\mathbb{R}}^d$.

从初始点${\mathbf{x}}^0$开始，CD不断迭代构造序列${\mathbf{x}}^1,{\mathbf{x}}^2,\cdots$

${\mathbf{x}}^{t+1}$的第$i$个分量的构造为：

$$x_i^{t+1}=\arg \underset{y\in \mathbb{R}}{\min }f(x_1^{t+1},x_2^{t+1},\dots ,x_{i-1}^{t+1},y,x_{i+1}^t,\dots ,x_d^t)$$

显然有：
$$f({\mathbf{x}}^0)\ge f({\mathbf{x}}^1)\ge f({\mathbf{x}}^2)\ge \cdots$$

最终序列收敛到局部极小点或者驻点（stationary point）。（因为求导为0只是极值点的必要条件，也可能求出的是驻点，这点都说烂了大家都懂）

适用于：规模较大的，目标函数光滑的复杂问题（目标函数不光滑则CA/CD may陷入非驻点non-stationary point）