梯度
梯度的定义为:
根据梯度的定义式,函数
沿单位向量
的方向导数为
从上式可以看出,函数在
处,沿
方向的方向导数最大,从而梯度的方向就是函数在该点增加最快的方向.
问题?
但是梯度这种方法并不总是奏效的,请看下题:
❝ 设,其中,求在处函数增长最快的方向.
❞
看到题目的第一眼,我们自然而然的想到要求梯度,但是
哦豁,梯度法失效了,于是就需要我们另辟蹊径.
回归本质
我们考虑沿某单位方向
函数
的变化
令
,由
展式我们知道
由于
,且
,当
充分小时,沿方向
函数
增加的最快.
再多考虑一步
根据多元函数的
公式,我们知道
其中
为
矩阵.我们有如下定理
「定理」 设二次连续可微函数
在
点的梯度为零向量,但
矩阵是非零矩阵,则
增长最快的可能方向在
的最大特征值对应的特征子空间中.如最大特征值对应的特征子空间为一维空间,则相应的方向就是
增长最快的方向.
为了证明这个定理,实际上我们只需要证明,二次型在其矩阵的最大特征值对应的特征向量处取得最大值即可,即
「引理」 设
是
阶实对称矩阵,记
分别为
中所有特征值中的最大值和最小值,则
,
「证明」 因为
是实对称矩阵,所以
有由
中标准正交基
组成的特征向量(因为实对称矩阵必有
个线性无关的向量,将这些向量施密特正交化后就得到了标准正交基)
于是,对于
中的任意向量
,都有