基于梯度的优化方法

最新推荐文章于 2024-09-19 21:51:57 发布

Hansry

最新推荐文章于 2024-09-19 21:51:57 发布

阅读量7.2k

点赞数 2

分类专栏： Sundry

本文链接：https://blog.csdn.net/Hansry/article/details/77844832

版权

本文介绍了优化问题的基本概念，探讨了微积分在优化中的作用，特别是梯度、雅克比矩阵和海森矩阵的含义。梯度是多维函数的导数向量，指示了函数值下降最快的方向。在最速下降法中，沿着负梯度方向移动可以最快减少目标函数值。海森矩阵提供了关于函数曲率的信息，有助于判断局部极小值、极大值和鞍点。约束优化则是考虑了特定条件下的最优化问题。

摘要由CSDN通过智能技术生成

1.优化指的是改变x以最小化或最大化的某个函数f(x)的任务

我们通常以最小化f(x)指代大多数最优化问题。最大化可经由最小化算法 -f(x) 来实现。

我们希望最小化或最大化的函数叫目标函数，当我们对其进行最小化的时候，也叫作代价函数或损失函数或误差函数。

我们经常使用一个上标*表示最小化或最大化函数的x值: $x*=argminf(x)$ , 我们通过改变x的值来最小化或者最大化函数f(x)的值。

2. 微积分概念如何于优化联系呢？？？？

加入我们有一个函数y=f(x),其中x和y实数。这个函数的导数（Derivative）记为 $f^{'}(x)$ 或者 $\frac{dy}{dx}$ ，导数 $f^{'}(x)$ 代表f(x)在点x处的斜率，它表明需要如何缩放输入的小变化以在输出获得相应的变化：f(x+a) = f(x)+ a $f^{'}(x)$

导数告诉我们如何更改x来略微地改善y，当 $f^{'}(x)$ =0的时候，导数无法提供往哪个方向的移动信息。 $f^{'}(x)$ =0的点称为临界点或驻点。临界点除了局部极小点(local minimum)、局部极大点(local maxmum)外，还有鞍点，鞍点(saddle points)既不是最小点也不是最大点。如下图所示：

这里写图片描述

使f(x)取得全局最小值的点是全局最小点。只有一个全局最小点（global minimum）或存在多个全局最小点的函数是有可能的，还可能存在不是全局最优的局部极小点。

这里写图片描述

我们经常最小化具有多维输入的函数：f： $R^{n}\rightarrow R$ ，为了使最小化的概念有意义，输出必须是一维的（标量）。我们用偏导数（partial derivatives）的概念针对具有多维输入的函数。偏导数 $\frac{\partial f(x) }{\partial x_{i}}$ 衡量点x处只有 $x_{i}$ 增加时f(x)如何变化。