简述坐标下降法

一 综述

坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行搜索，通过循环使用不同的坐标方法来达到目标函数的局部极小值。

二 算法过程

假设目标函数是求解f(x)f(x)的极小值，其中x=(x1,x2,…,xn)x=(x1,x2,…,xn)是一个n维的向量，我们从初始点x0x0开始(x0x0是我们猜想的一个初值)对k进行循环：

 

相当于每次迭代都只是更新x的一个维度，即把该维度当做变量，剩下的n-1个维度当作常量,通过最小化f(x)来找到该维度对应的新的值。坐标下降法就是通过迭代地构造序列x0,x1,x2,…来求解问题，即最终点收敛到期望的局部极小值点。通过上述操作，显然有：

 

f(x0)≥f(x1)≥f(x2)≥…