无约束多维极值求解思路

一、问题描述

       无约束的多维极值问题一般描述如下公式：

       其中x为向量，而f（x）为标量函数，多维极值的问题就是要求得全局最小值。但是大多数的算法都存在着搜索范围问题，无法求得全局最小值，只能计算出一些局部最优值。对于实际问题来说，这是不矛盾的，因为实际问题都存在一定的应用背景和使用条件，局部最优点并不多，甚至有时局部最优点就是全局最优点，所以实际问题可以根据实际经验近似认为局部最优可以作为系统的全局最优解来使用。

 

二、常用算法

        求无约束最优化的问题大致有两大类：直接法和间接法。其中直接法是不需要计算导数的方法，它们采用的方法是沿着坐标轴搜索函数下降方向或者沿着预先给定的方向进行搜索，因此其本质是一种搜索----试探----前进的反复过程。间接法是通过对目标函数进行求导，沿着特定的方向进行搜索。一般来说直接法比使用导数的间接法要慢一些，但是直接法不需要计算导数，迭代比较简单，编制程序也比较容易。

1、直接法

（1）模式搜索法

（2）Rosenbrock法

（3）单纯形搜索法

（4）Powell法