优化算法——坐标下降法(Coordinate Descent)

坐标下降法（Coordinate Descent）是一个简单但却高效的非梯度优化算法。与梯度优化算法沿着梯度最速下降的方向寻找函数最小值不同，坐标下降法依次沿着坐标轴的方向最小化目标函数值。

本文将从以下几方面来具体介绍坐标下降法：

• • 坐标下降法的概念
  • 坐标下降法的原理
  • 坐标下降法与全局最小值
  • 总结

坐标下降法的概念

它的核心思想是将一个复杂的优化问题分解为一系列简单的优化问题以进行求解。我们知道，对高维的损失函数

求最小值有时并不是一件容易的事情，而坐标下降法就是迭代地通过将大多数自变量

固定（即看作已知常量），而只针对剩余的自变量

求极值的过程。这样，一个高维的优化问题就被分解成了多个一维的优化问题，从而大大降低了问题的复杂性。

坐标下降法的原理

下面直接通过一个简单的例子来演示坐标下降法是如何工作的：

假设我们有目标函数

，其等高线图如下所示，求（x, y）以使得目标函数在该点的值最小。

（图片来源：https://en.