hessian矩阵_快速理解偏导数与海森矩阵

一阶与多阶连续偏导数

一阶偏导数：

对于z=f(x,y) 这个二元函数来说， 有两个一阶偏导数：

假设 z 在(x0,y0) 处及其附近有定义， 若一元函数(注意我们这里把y=y0当做y为常数y0)f(x,y0) 在x=x0 处可导，那么就称此导数值为二元函数z=f(x,y)在点(x0,y0)处对x的一阶偏导数：

同理， 对于f(x,y)的第二个一阶偏导数关于y的是：

二阶偏导数：

二阶偏导数就是一阶偏导数的一阶导数。 对于z=f(x,y)来说， 有4个二阶偏导数。:

如果对于3元函数的二阶偏导数就是9个， 一共有3个一阶偏导数， 每个一阶偏导数有3个二阶偏导数。 例如(x,y,z) 二阶偏导数就是对 (xx,xy,xz)(yx,yy,yz) (zx,zy,zz) 分别求偏导也就是一个3x3的方阵，这个方阵就是海森矩阵，黑塞矩阵 hessian。

其中第一行实际上是f(x,y,z) 对x的一阶偏导数的偏导数。f对x的一阶偏导数是 ：

而f'的一阶偏导数也有3个就是上面方阵的第一行的3个元素，每个元素代表了x的一阶偏导数 的 关于x，y, z 的 一阶偏导数

(1)当A正定矩阵时， 在M处是极小值；

(2)当A负定矩阵时， 在M处是极大值；

(3)当A不定矩阵时， M不是极值点。

(4)当A为半正定矩阵或半负定矩阵时,M是“可疑”极值点，尚需要利用其他方法来判定。

偏导与梯度:

梯度与导数关系： 梯度本身是一个向量， 指向函数增长变化最快的方向。 而梯度这个向量里每一个维度的值 就是对这个维度求偏导的值。梯度向量的维度和参数的个数是一样的。 例如w是一个权值矩阵，共有(5,6)的维度，就意味着有30个参数， 我们的梯度向量就是一个30维度的向量。

使用损失函数loss, 对函数的权重的每一个参数求偏导。求得的每一个参数的偏导数组成的向量，就是我们要的梯度。