同一维的类似,假定函数
n
阶可微,则其在X0
的一阶
Taylor
级数展开为
f(X)=f(X0)+f'(X0)T*(X-X0)二阶
Taylor
级数展开为
f(X)=f(X0)+f'(X0)T*(X-X0)+(X-X0)T
*H*(X-X0)
,
其中
f'(X0)为梯度,H
为
Hessian
矩阵
,
。同一维的情况类似,当梯度
为0时,
X0可能得到极大值点,极小值点,或者鞍点。当
H是一个正定矩阵
(definite matrix)
的时候,
H
点是极小值点
(pit)
,当
H
是一个负定矩阵
(negative definite matrix)
是,
H
点是极大值点
(peak)
,当
H
是一个不定矩阵
(indefinite matrix)
的时候,
H
点是鞍点
(saddle)
。
当 H 是一个半正定矩阵 (semi-definite matrix) 的时候, H 点是谷 (ravine) , 当 H 是一个半负定矩阵 (semi-negative definite matrix) 的时候, H 点是脊 (ridge) . 当 H 永远为正定矩阵 (definite matrix) 的时候,函数 H 称为凸函数 (convex function) . 凸函数的驻点必为最小值点。
当 H 是一个半正定矩阵 (semi-definite matrix) 的时候, H 点是谷 (ravine) , 当 H 是一个半负定矩阵 (semi-negative definite matrix) 的时候, H 点是脊 (ridge) . 当 H 永远为正定矩阵 (definite matrix) 的时候,函数 H 称为凸函数 (convex function) . 凸函数的驻点必为最小值点。