梯度的几何解释

Leo_Ma888

已于 2024-05-15 10:08:30 修改

阅读量1.2k

点赞数 24

分类专栏：运筹学学习笔记文章标签：算法笔记

于 2024-04-08 20:42:17 首次发布

本文链接：https://blog.csdn.net/Xiaoyao_Ma/article/details/137508195

版权

运筹学学习笔记专栏收录该内容

4 篇文章

订阅专栏

本文详细解释了梯度在搜索算法中的几何意义，包括其作为改进方向的基础、与曲面、法线和切面的关系，以及在梯度下降和最速下降方法中的应用。强调了梯度方向与优化问题目标值的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前一直使用梯度法，本文系统整理一下梯度的几何解释，为后面搜索算法的理解打基础。参考文献：运筹学（原书第2版）—[美]罗纳德L.拉丁（Ronald L.Rardin）http://www.cmpedu.com/books/book/2066930.htm

1. 方向步长（direction-step）范式

“方向步长范式是几乎所有搜索算法的核心。”

$\textbf{x}^{k+1}\leftarrow \textbf{x}^{k} + \lambda \Delta \mathbf{x}$

其中 $\lambda>0$ 是步长， $\Delta \mathbf{x}$ 是搜索方向。

定义1：如果对于足够小的 $\lambda>0$ ，都有 $\textbf{x}^{k} + \lambda \Delta \mathbf{x}$ 的目标值优于 $\textbf{x}^{k}$ ，则称 $\Delta \mathbf{x}$ 是当前解的一个改进方向（improving direction）。

定义2：如果对于足够小的 $\lambda>0$ ，都有 $\textbf{x}^{k} + \lambda \Delta \mathbf{x}$ 满足所有约束条件，则称 $\Delta \mathbf{x}$ 是当前解的一个可行方向。

2. 曲面、法线、切面与梯度的关系

任意可微函数 $f(x_1,...,x_n)$ 的梯度为

$\nabla f =\begin{pmatrix} \frac{\partial f }{\partial x_1}\\ ...\\ \frac{\partial f }{\partial x_n}\\ \end{pmatrix}$

由于每个偏导数都是目标函数在当前解的斜率或者随坐标方向变化的变化率，因此梯度描述了目标函数的形状。下面描述梯度与曲面的法线的关系。

梯度在函数图像上是切线，指向函数值增大的方向；在等高线图上是法向量，指向函数值增大的方向。

例：（参考：直观上理解“梯度”与“法向量”的关系 - 知乎）假设 $f(x_1,x_2,x_3)=0$ 是一个三维曲面，实际上这可看作是函数 $w=f(x_1,x_2,x_3)$ 一个等高面，如图2.1所示。曲面上的某一个点 $\left ( x_{10}, x_{20}, x_{30} \right )$ 的法向量为 $\left ( \frac{\partial f}{\partial x_1}|_{x_{10}}, \frac{\partial f}{\partial x_2}|_{x_{20}},\frac{\partial f}{\partial x_3}|_{x_{30}}\right )^T$ ，该点的切面上的任意一个向量 $(x_1-x_{10}, x_2-x_{20}, x_3-x_{30})$ 与法向量垂直（注： $\mathbf{x}-\mathbf{x}_0$ 表示一个 $\mathbf{x}_0$ 指向 $\mathbf{x}$ 的向量），则可得到曲面/等高面 $f(x_1,x_2,x_3)=0$ 的切面方程为

$\frac{\partial f}{\partial x_1}|_{x_{10}}(x_1-x_{10})+ \frac{\partial f}{\partial x_2}|_{x_{20}}(x_2-x_{20}),\frac{\partial f}{\partial x_3}|_{x_{30}}( x_3-x_{30}) = 0$