多元多值函数的梯度与雅可比

        多元多值函数也叫做向量值函数,在数学中,但凡与“向量”二字挂钩,都会默认表示为列向量,除非特别说明,比如说如下的向量值函数

F(X) = (f_1(X),f_2(X),...,f_n(X))^T

和其中的自变量

X = (x_1,x_2,...,x_m)^T

都是列向量。

        “梯度”算子本来就是针对标量值函数(一元单值函数或多元单值函数)定义的,所以对向量值函数求“梯度”,本质上还是对其中的每一个标量分量求“梯度”,即

\nabla F(X) = (\nabla f_1(X),\nabla f_2(X),\cdots,\nabla f_n(X))^T

        值得注意的是,向量值函数的梯度和雅可比十分容易混淆,但通过符号可以比较容易的记忆,首先梯度算子 \nabla 是作用到函数 F(X) 本身的(这总不会有人质疑吧),因此后续要对 F(X) 做转置,但是雅可比 J 一般是作用于 X 的(难道有人见过J F(X)这样的表示吗),因此后续要对X做转置,如下所示为其数学表达

\nabla F(X) = \frac{\partial F(X)^T}{\partial X}

J(X) = \frac{\partial F(X)}{\partial X^T}

我们知道以上两式的结果必定是矩阵,由此可以进一步按照矩阵相乘的法则进行运算,想要得到矩阵,只能是N*1的向量乘以1*M的向量或者M*1的向量乘以1*N的向量,故将以上两式进一步计算就有

 \nabla F(X) = \frac{\partial F(X)^T}{\partial X} = \frac{1}{\partial X} \partial F(X)^T = \begin{bmatrix} \frac{1}{\partial x_1}\\ \vdots\\ \frac{1}{\partial x_m}\end{bmatrix}\begin{bmatrix} \partial f_1(X) &\cdots &\partial f_n(X) \end{bmatrix}

J(X) = \frac{\partial F(X)}{\partial X^T} = \partial F(X) \frac{1}{\partial X^T} = \begin{bmatrix} \partial f_1(X) \\ \vdots \\ \partial f_n(X) \end{bmatrix} \begin{bmatrix} \frac{1}{\partial x_1}& \cdots& \frac{1}{\partial x_m}\end{bmatrix}

综上,计算矩阵乘法可得

\nabla F(X) = \begin{bmatrix} \frac{\partial f_1(X)}{\partial x_1}& \frac{\partial f_2(X)}{\partial x_1}& \cdots &\frac{\partial f_n(X)}{\partial x_1}\\ \frac{\partial f_1(X)}{\partial x_2}& \frac{\partial f_2(X)}{\partial x_2}& \cdots & \frac{\partial f_n(X)}{\partial x_2}\\ \vdots & \vdots &\ddots &\vdots\\ \frac{\partial f_1(X)}{\partial x_m}& \frac{\partial f_2(X)}{\partial x_m}& \cdots & \frac{\partial f_n(X)}{\partial x_m}\end{bmatrix}

J(X) = \begin{bmatrix} \frac{\partial f_1(X)}{\partial x_1}& \frac{\partial f_1(X)}{\partial x_2}& \cdots & \frac{\partial f_1(X)}{\partial x_m}\\ \frac{\partial f_2(X)}{\partial x_1}& \frac{\partial f_2(X)}{\partial x_2}& \cdots & \frac{\partial f_2(X)}{\partial x_m}\\ \vdots & \vdots &\ddots &\vdots\\ \frac{\partial f_n(X)}{\partial x_1}& \frac{\partial f_n(X)}{\partial x_2}& \cdots & \frac{\partial f_n(X)}{\partial x_m}\end{bmatrix}

可以看到,梯度矩阵和雅可比矩阵之间的关系就是互为转置,雅可比矩阵(不同于雅可比多项式)主要应用于牛顿迭代中,如果在牛顿迭代中用错了矩阵(用成了梯度矩阵),就会导致牛顿迭代出错。

  • 4
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值