【优化算法】Jacobian矩阵和Hessian矩阵

最新推荐文章于 2022-03-21 21:18:05 发布

北境の守卫

最新推荐文章于 2022-03-21 21:18:05 发布

阅读量1.3k

点赞数 1

分类专栏： MathStone AI 文章标签： jacobian matrix hessian matrix gradient

本文链接：https://blog.csdn.net/baishuo8/article/details/81146696

版权

本文介绍了Jacobian矩阵和Hessian矩阵，它们是基于梯度的概念进行的扩展。Jacobian矩阵用于描述输出为向量的函数的导数，而Hessian矩阵则是标量函数的二阶导数矩阵，常用于优化问题中的牛顿法。这两个矩阵在理解函数行为和求解最优化问题中起到关键作用。

摘要由CSDN通过智能技术生成

梯度（Gradient）
Jacobian 矩阵
Hessian 矩阵
Ref

之前，有写过图像的梯度, 现在写写基于梯度之上的 Jacobian矩阵和Hessian矩阵。

梯度（Gradient）

Like the derivative, the gradient represents the slope of the tangent of the graph of the function. More precisely, the gradient points in the direction of the greatest rate of increase of the function, and its magnitude is the slope of the graph in that direction. – Wikipedia

梯度是一个向量。对于一个连续函数在某点的梯度而言，梯度的方向代表了函数值变化最快的方向, 梯度的模长代表了函数值的最大变化率。梯度各个分量，由此函数在各个基方向上的偏导组成。

Jacobian 矩阵

Jacobian 矩阵是对梯度的一种泛化。梯度对应的是输出值为标量的函数 $f: \mathbb R^n \to \mathbb R$ ，Jacobian 矩阵就是把梯度的概念泛化到输出值为向量的函数 $f: \mathbb R^n \to \mathbb R^m$ 。这种函数，可以看做由 $m$ 个实函数组成，这些实函数的偏导数(如果存在)的话，可以组成一个 m 行 n 列的矩阵，这就是Jacobian 矩阵的定义。

[\begin{matrix} \frac{\partial y_{1}}{\partial x_{1}} & \dots & \frac{\partial y_{1}}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial y_{m}}{\partial x_{1}} & \dots & \frac{\partial y_{m}}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \cdots & \frac{\partial y_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partia$