高立数值最优化方法_《数值与最优化方法》（一）

最新推荐文章于 2022-12-04 15:20:45 发布

自然风景鉴赏

最新推荐文章于 2022-12-04 15:20:45 发布

阅读量1k

点赞数

文章标签：高立数值最优化方法

本文链接：https://blog.csdn.net/weixin_30479445/article/details/113331383

版权

本文介绍了高维数值最优化的基础概念，包括等值线的性质、可微与梯度的定义、方向导数、Hesse矩阵、多元函数的Taylor展开、最优性条件以及数值插值方法。特别讨论了拉格朗日、牛顿和埃尔米特插值，以及三次样条插值在处理不同插值条件下的应用。

摘要由CSDN通过智能技术生成

点击返回目录

一. 无约束最优化计算方法

1.1 数学基础

1.1.1 等值线

“等值线”的定义为：“在高维空间（

）中，使目标函数取值为同一常数的点集

{

为一常数

} 称为

的等值线。其中目标函数

是连续的单值函数，即定义域内每一个自变量所对应的函数值是唯一的”。

高维情形有时难以想象，但可以用低维情形来理解，比如在三维情形中就如同初中地理学我们学过的等高线。现在开始我们的想象，假设三维情形下有一座崎岖不平的山脉，我们可以为它作出一圈一圈的等高线，从上帝视角俯视，我们可以发现以下4个性质：

(a)不同的等高线不相交；(b)除极点所在的等高线外，等高线不会中断；(c)等高线稠密的地方高度变化较快，稀疏的地方变化较慢（在初中地理也很明确地讲授过原因，比如你离山顶还有1米，假设等高线“间距”为5米，那么，如果这1米内有2条等高线，那意味着你再攀登2*5米就能到达山顶，如果这1米内有10条等高线，那意味着你还要攀登10*5米才能到达山顶，很明显，后者陡峭得多，即高度变化快得多~）；(d)在极值点附近，等高线近似地为同心椭圆族。以上4个性质推广至高维的等值线仍成立。

1.1.2 可微与梯度

可微

定义为：设

equation?tex=f%3AD+%5Csubset+%5Cmathbb%7BR%7D%5En+%5Cto+%5Cmathbb%7BR%7D

( 映射 )，且

，若存在

维向量

，对任意

维向量

，都有

$equation?tex=%5Clim_%7B%7C%7CP%7C%7C+%5Cto+0%7D+%5Cfrac%7Bf%28X%5E0%2BP%29-f%28X%5E0%29-L%5ETP%7D%7B%7C%7CP%7C%7C%7D%3D0$ ，则称

在

可微。

同样来降维理解，以一元情形为例，可微定义为

equation?tex=f%28x_0%2Ba%29+%5Capprox+f%28x_0%29%2Bka%2C%5Cexists+k

，做变换得

$equation?tex=%5Clim_%7Ba+%5Cto+0%7D+%5Cfrac%7Bf%28x_0%2Ba%29-f%28x_0%29-ka%7D%7Ba%7D%3D0$ ，推出熟悉的

$equation?tex=%5Clim_%7Ba+%5Cto+0%7D%5Cfrac%7Bf%28x_0%2Ba%29-f%28x_0%29%7D%7Ba%7D%3Dk$ ，

也就是我们熟知的极限定义中的斜率。在一元情形下，增量是个数值

，那么在多元情形下，增量则是个向量

，类比可以得到

equation?tex=f%28x%5E0%2BP%29+%5Capprox+f%28x%5E0%29%2BL%5ETP

，同样做变换得

$equation?tex=%5Clim_%7B%7C%7CP%7C%7C+%5Cto+0%7D+%5Cfrac%7Bf%28X%5E0%2BP%29-f%28X%5E0%29-L%5ETP%7D%7B%7C%7CP%7C%7C%7D%3D0$ ，然而分子分母的

和

无法约去，因此不能继续再像一元情形那样写成极限得斜率的形式，但通过类比我们也可以知道

是一个类似于斜率的东东！实际上

$equation?tex=L%3D%28%5Cfrac%7B%5Cpartial+f%28X%5E0%29%7D%7B%5Cpartial+x_1%7D%2C%5Cfrac%7B%5Cpartial+f%28X%5E0%29%7D%7B%5Cpartial+x_2%7D%2C...%2C%5Cfrac%7B%5Cpartial+f%28X%5E0%29%7D%7B%5Cpartial+x_n%7D%29%5ET$ 。（【1】P43证明）