梯度向量、Jacobian、Hessian矩阵

【一句话引入】海森矩阵相当于 f(x1,x2,…,xn) 的梯度向量 g(x) 关于自变量 (x1,x2,…,xn) 的雅可比矩阵。

一、梯度向量

定义

目标函数f为单变量，是关于自变量x=(x1,x2,…,xn)T的函数，单变量函数f对向量x求梯度，结果为一个与向量x同维度的向量，称之为梯度向量：

二、Jacobian矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数。

定义

假设F: Rn→Rm是一个从欧式n维空间转换到欧式m维空间的函数. 这个函数由m个实函数组成:

这些函数的一阶偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵：

此矩阵用符号表示为：

举例

三、Hessian矩阵

定义

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的n*n方块矩阵, 此函数如下：

如果f的所有二阶导数都存在, 那么f的海森矩阵即：

其中x=(x1,x2…,xn), 即H(f)为：

简单可以看成f在对每个x1,x2…,xn求一阶偏导构成的n个实函数，再求这n个实函数的雅可比矩阵。
实际上，Hessian矩阵是梯度向量g(x)对自变量x(x1,x2…xn)的Jacobian矩阵

举例

四、梯度向量、Jacobian、Hessian的对比

A. 一元函数

• 自变量（一元）：x = x
• 因变量：f(x)
  • 一阶导数：f关于自变量（一元）的一阶导数为f’(x)
  • 二阶导数：f关于自变量（一元）的一阶导数为f’’(x)

B. 多元函数

• 自变量（多元）：
  
• 因变量有两种情况：
  • 单个实函数
    
    • 梯度向量：f关于自变量（多元）的一阶导数构成的向量为梯度向量g(x)
    • Hessian矩阵：f关于自变量（多元）的二阶导数构成的矩阵为海森矩阵H
  • 多个实函数
    
    • Jacobian矩阵：f关于自变量的一阶导数构成的矩阵为雅可比矩阵J