申明:本文非笔者原创,原文转载自:http://blog.sina.com.cn/s/blog_890c6aa30100yhqy.html
坐标下降优化方法是一种非梯度优化算法。为了找到一个函数的局部极小值,在每次迭代中可以在当前点处沿一个坐标方向进行一维搜索。在整个过程中循环使用不同的坐标方向。一个周期的一维搜索迭代过程相当于一个梯度迭代。
坐标下降法基于最小化多变量目标函数可以通过每次沿一个方向最小化目标函数来求解。与梯度方法的变化的梯度方向不同,坐标下降方法固定其他的梯度方向。例如,坐标方向为e1,e2,…,en。每次沿一个坐标方向最小化目标函数,循环地沿每个坐标方向进行计算。如果给定Xk,Xk+1的第i个坐标由如下给定:
从初始值X0求取F的局部值,然后迭代的求取一个序列X0,X1,X2,…
通过在每次迭代中进行一维搜索,可以有如下结论:
It can be shown that this sequence has similar convergence properties as steepest descent. No improvement after one cycle of
This process is illustrated below.