多元多值函数也叫做向量值函数,在数学中,但凡与“向量”二字挂钩,都会默认表示为列向量,除非特别说明,比如说如下的向量值函数
和其中的自变量
都是列向量。
“梯度”算子本来就是针对标量值函数(一元单值函数或多元单值函数)定义的,所以对向量值函数求“梯度”,本质上还是对其中的每一个标量分量求“梯度”,即
值得注意的是,向量值函数的梯度和雅可比十分容易混淆,但通过符号可以比较容易的记忆,首先梯度算子 \nabla 是作用到函数 F(X) 本身的(这总不会有人质疑吧),因此后续要对 F(X) 做转置,但是雅可比 J 一般是作用于 X 的(难道有人见过J F(X)这样的表示吗),因此后续要对X做转置,如下所示为其数学表达
我们知道以上两式的结果必定是矩阵,由此可以进一步按照矩阵相乘的法则进行运算,想要得到矩阵,只能是N*1的向量乘以1*M的向量或者M*1的向量乘以1*N的向量,故将以上两式进一步计算就有
综上,计算矩阵乘法可得
可以看到,梯度矩阵和雅可比矩阵之间的关系就是互为转置,雅可比矩阵(不同于雅可比多项式)主要应用于牛顿迭代中,如果在牛顿迭代中用错了矩阵(用成了梯度矩阵),就会导致牛顿迭代出错。