【优化算法】Jacobian矩阵和Hessian矩阵

本文介绍了Jacobian矩阵和Hessian矩阵,它们是基于梯度的概念进行的扩展。Jacobian矩阵用于描述输出为向量的函数的导数,而Hessian矩阵则是标量函数的二阶导数矩阵,常用于优化问题中的牛顿法。这两个矩阵在理解函数行为和求解最优化问题中起到关键作用。
摘要由CSDN通过智能技术生成

之前,有写过 图像的梯度, 现在写写基于梯度之上的 Jacobian矩阵和Hessian矩阵。

梯度(Gradient)

Like the derivative, the gradient represents the slope of the tangent of the graph of the function. More precisely, the gradient points in the direction of the greatest rate of increase of the function, and its magnitude is the slope of the graph in that direction. – Wikipedia

梯度是一个向量。对于一个连续函数在某点的梯度而言,梯度的方向代表了函数值变化最快的方向, 梯度的模长代表了函数值的最大变化率。梯度各个分量,由此函数在各个基方向上的偏导组成。

Jacobian 矩阵

Jacobian 矩阵是对梯度的一种泛化。梯度对应的是输出值为标量的函数 f:RnR f : R n → R ,Jacobian 矩阵就是把梯度的概念泛化到输出值为向量的函数 f:RnRm f : R n → R m 。这种函数,可以看做由 m m 个实函数组成,这些实函数的偏导数(如果存在)的话,可以组成一个 m 行 n 列的矩阵,这就是Jacobian 矩阵的定义。

[ y 1 x 1 y 1 x n y m x 1 y m x n ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值