点击返回目录
一. 无约束最优化计算方法
1.1 数学基础
1.1.1 等值线
“等值线”的定义为:“在高维空间(
)中,使目标函数取值为同一常数的点集
{
为一常数
} 称为
的等值线。其中目标函数
是连续的单值函数,即定义域内每一个自变量所对应的函数值是唯一的”。
高维情形有时难以想象,但可以用低维情形来理解,比如在三维情形中就如同初中地理学我们学过的等高线。现在开始我们的想象,假设三维情形下有一座崎岖不平的山脉,我们可以为它作出一圈一圈的等高线,从上帝视角俯视,我们可以发现以下4个性质:
(a)不同的等高线不相交;(b)除极点所在的等高线外,等高线不会中断;(c)等高线稠密的地方高度变化较快,稀疏的地方变化较慢(在初中地理也很明确地讲授过原因,比如你离山顶还有1米,假设等高线“间距”为5米,那么,如果这1米内有2条等高线,那意味着你再攀登2*5米就能到达山顶,如果这1米内有10条等高线,那意味着你还要攀登10*5米才能到达山顶,很明显,后者陡峭得多,即高度变化快得多~);(d)在极值点附近,等高线近似地为同心椭圆族。以上4个性质推广至高维的等值线仍成立。
1.1.2 可微与梯度
- 可微
定义为:设
( 映射 ),且
,若存在
维向量
,对任意
维向量
,都有
,则称
在
可微。
同样来降维理解,以一元情形为例,可微定义为
,做变换得
,推出熟悉的
,
也就是我们熟知的极限定义中的斜率。在一元情形下,增量是个数值
,那么在多元情形下,增量则是个向量
,类比可以得到
,同样做变换得
,然而分子分母的
和
无法约去,因此不能继续再像一元情形那样写成极限得斜率的形式,但通过类比我们也可以知道
是一个类似于斜率的东东!实际上
。(【1】P43证明)
2. 梯度
定义为:以
的
个偏导数为分量的向量
称为
的梯度。显然
。回忆(1)中“等值线稠密的地方高度变化较快“这个性质,那么关于函数某一点处等值线最稠密的地方就是梯度方向啦,即:
沿梯度方向函数具有最大的变化率;若
,则
与过
的等值线垂直。
1. 几种特殊的梯度:(1) 对任意常数,; (2); (3); (4)这里; (5)。
1.1.3 方向导数
定义为:设
可微函数
在
点沿方向
的方向导数为: