局部搜索算法总结

通常考察一个算法的性能通常用局部搜索能力和全局收敛能力这两个指标。局部搜索是指能够无穷接近最优解的能力，而全局收敛能力是指找到全局最优解所在大致位置的能力。局部搜索能力和全局搜索能力，缺一不可。向最优解的导向，对于任何智能算法的性能都是很重要的。 

    局部最优问题(或叫局部峰值局部陷井)：现实问题中，f在D上往往有多个局部的极值点。一般的局部搜索算法一旦陷入局部极值点，算法就在该点处结束，这时得到的可能是一个糟糕的结果。解决的方法就，目标函数差的点，被选中的概率小。考虑归一化问题，使得邻域内所有点被选中的概率和为1。总的来说，局部搜索的方法，就是依赖于对解空间进行按邻域搜索。

    起始点问题：一般的局部搜索算法是否能找到全局最优解，与初始点的位置有很大的依赖关系。解决的方法就是随机生成一些初始点，从每个初始点出发进行搜索，找到各自的最优解。再从这些最优解中选择一个最好的结果作为最终的结果。

    学习的重要性：
        1、直接用于无约束的实际问题；
        2、其基本思想和逻辑结构可以推广到约束问题；
        3、约束问题可以转化成无约束问题求解。

    方法分类：
        1、间接法：对简单问题，求解必要条件或充分条件；
        2、迭代算法：
                 零阶法：只需计算函数值 f(x) （直接法）
                 一阶法：需计算 ▽f(x)       （梯度法）
                 二阶法：需计算 ▽2f(x)      （梯度法）

    直接搜索法优点：计算不太复杂；易于实施与快速调试；所需的准备时间较少
一、单纯形搜索法：

1962年由Spendley, Hext和Himsworth提出，80年代得到证明。单纯形搜索法是一种无约束最优化的直接方法。单纯形法是求解非线性多元函数、无约束最小化问题的有效方法之一。在许多技术领域内，都取得了有效的成果。

所谓的单纯形是指n维空间E^n中具有n+1个顶点的凸多面体。比如一维空间中的线段，二维空间中的三角形，三维空间中的四面体等，均为相应空间中的单纯形。单纯形搜索法与其它直接方法相比，基本思想有所不同，在这种方法中，给定维空间E^n中一个单纯形后，求出n+1个顶点上的函数值，确定出有最大函数值的点(称为最高点)和最小函数值的点(称为最低点)，然后通过反射、扩展、压缩等方法(几种方法不一定同时使用)求出一个较好点，用它取代最高点，构成新的单纯形，或者通过向最低点收缩形成新的单纯形，用这样的方法逼近极小点。
    单纯形搜索法的基本思想是：先找出一个基本可行解，对它进行鉴别，看是否是最优解；若不是，则按照一定法则转换到另一改进的基本可行解,再鉴别；若仍不是，则再转换，按此重复进行。因基本可行解的个数有限，故经有限次转换必能得出问题的最优解。

一般解题步骤可归纳如下：

①把线性规划问题的约束方程组表达成典范型方程组，找出基本可行解作为初始基本可行解。

②若基本可行解不存在，即约束条件有矛盾，则问题无解。

③若基本可行解存在，从初始基本可行解作为起点，根据最优性条件和可行性条件，引入非基变量取代某一基变量，找出