坐标下降优化算法

坐标下降优化方法是一种非梯度优化算法。为了找到一个函数的局部极小值，在每次迭代中可以在当前点处沿一个坐标方向进行一维搜索。在整个过程中循环使用不同的坐标方向。一个周期的一维搜索迭代过程相当于一个梯度迭代。

坐标下降法基于最小化多变量目标函数可以通过每次沿一个方向最小化目标函数来求解。与梯度方法的变化的梯度方向不同，坐标下降方法固定其他的梯度方向。例如，坐标方向为e₁,e₂,…,e_n。每次沿一个坐标方向最小化目标函数，循环地沿每个坐标方向进行计算。如果给定X^k，X^k+1的第i个坐标由如下给定：

从初始值X₀求取F的局部值，然后迭代的求取一个序列X₀，X₁，X₂，…

通过在每次迭代中进行一维搜索，可以有如下结论：

It can be shown that this sequence has similar convergence properties as steepest descent. No improvement after one cycle of line search along coordinate directions implies a stationary point is reached.

This process is illustrated below.

    其实，gradient descent 方法是利用目标函数的导数（梯度）来确定搜索方向的，而该梯度方向可能不与任何坐标轴平行。而coordinate descent方法是利用当前坐标系统进行搜索，不需要求目标函数的导数，只按照某一坐标方向进行搜索最小值。