- 梯度的计算通常涉及到求导数。在一元函数中,梯度就是函数的导数;在多元函数中,梯度是由所有偏导数组成的向量。
- Fisher信息量可以理解为对参数不确定性的一种度量。当数据中包含关于参数的信息越多时,Fisher信息量越大,相应地,参数估计的方差就越小,估计也就越精确
- Hesse矩阵(用于描述该函数在各个方向上曲率和凸凹性质):对于一个n元连续可微函数f(x1, x2, …, xn),其Hesse矩阵H(f)定义为由f的所有二阶偏导数组成的n×n矩阵。具体来说,矩阵中的元素H(f)ij表示函数f相对于变量xi和xj的二阶偏导数。如果函数f的Hesse矩阵在给定点正定,则在该点附近函数类似于一个凸函数,并且可以判断出该点是一个局部极小值点。相反,如果Hesse矩阵负定,则函数在该点类似于一个凹函数,并且该点是一个局部极大值点。如果Hesse矩阵的特征值有正有负,则该点可能是一个鞍点。