全局优化方法

《全局优化方法》

 

http://www.china-pub.com/29933

 

前言回到顶部↑

目前求局部极小化的方法相对成熟并有有效的判别准则，而且已有许多教科书和专著。而求全局极小化方法，近年来已有不少进展，但相对于局部极小化方法，它在理论和算法上远没有那么成熟和完善。一般来说，全局最优化都没有判别准则。但是，近年来随着科学技术，特别是信息技术的飞速发展，全局优化在经济模型、固定费用、金融、网络和运输、图像处理、核能和机械设计、化学工程设计、分子生物学以及环境工程等众多领域中的应用越来越广泛，使得在科学、经济和工程中的许多进展都依赖于计算相应优化问题全局最优解的数值技术，因此全局最优化理论和方法值得深入研究。.  
全局优化研究的是多变量非线性函数在某个约束区域上的全局最优解的特性和构造寻求全局最优解的计算方法，以及求解方法的理论性质和计算表现。由于很可能在一个全局优化问题里存在多个局部最优解，且它们不同于问题的全局最优解，因此人们无法借助于经典的局部优化方法求解这些问题，特别是至今还没有很好的全局性判定准则，使得全局优化的研究极具挑战性。然而，自从20世纪70年代中后期以来，全局优化以惊人的速度在许多方面取得了长足的进展，许多新的全局优化理论及算法也相继出现，并得到了广泛应用。目前全局优化已作为最优化领域中一个独立的学科分支，引起了国内外学者的广泛重视并掀起了该领域的研究热潮，成为一个强有力的工具，被人们应用于对实际问题进行的建模和分析中。  
我国一些学者从20世纪七八十年代开始从事全局优化的研究，他们提出的一些算法，如填充函数法、积分水平集法、区间方法等在国际上产生了一定的影响。还有一些科研人员对全局优化问题中的随机性不确定算法，如遗传算法、模拟退火算法等也进行过相当多的研究。然而，目前在国内介绍有关全局优化方法的书籍还很少，除2003年由清华大学出版社出版的《全局优化引论》中文译本外，笔者还未见到专门讨论确定性全局优化方法的教材或专著。为及时吸收新近发展成熟并得到广泛应用的成果，并应用于我们的教学科研中，作者参阅了近年来国内外的全局优化理论及算法的有关书籍和研究文献，并结合近几年的教学科研实践编写了本书，书中不少内容是作者近几年在全局优化方面的研究成果。..  
本书旨在对全局优化的确定性方法作一系统、全面的介绍。本书覆盖全局优化方法的应用、典型的全局优化问题、处理这些问题的主要理论和求解算法等方面。尤其对全局优化的区间方法、松弛方法和分支定界方法等作了系统、全面地介绍。全书的内容在确保全局优化基本理论和方法的基础上，力求尽可能多的包含近期新的研究成果，但由于全局优化的内容如此广泛，新的成果如此丰富，做到这一点非作者的能力所及。全书共分9章：第1章介绍最优化问题的基本概念以及全局最优化的研究概况；第2章介绍全局优化区间方法的相关概念以及求单变量函数全局极小的区间斜率方法；第3章讨论多元函数全局极小的区间方法，包括多元多峰函数的区间剪枝算法和一类非光滑全局优化问题的区间算法；第4章介绍一般约束优化问题的拟凸松弛方法，包括：上、下界函数的构造，拟凸函数的分解技术，优化问题的拟凸松弛的构造，以及利用拟凸松弛求解约束优化问题的分支定界算法；第5章说明非凸优化问题的凸化、凹化和单调化方法；第6章讨论一类非凸优化问题的辅助函数方法；第7章介绍广义几何规划问题的全局优化方法；第8章讨论线性比式和问题的全局优化方法，包括比式和问题松弛化的构造过程及相关的优化算法；第9章讨论几类非线性比式和问题的全局优化方法。全书在叙述上力求深入浅出，便于读者理解。除第1、 2章外，各章内容相对独立，自成体系，读者可以进行跳跃性阅读。  
作者在此感谢西安交通大学张可村教授、徐成贤教授给予的悉心指导与良好建议；感谢南京大学何炳生教授与沈祖和教授的指点与帮助；感谢中国科学院袁亚湘研究员、上海大学张连生教授、南京师范大学孙文瑜教授等的关心与支持；感谢科学出版社对本书出版给予的大力支持；感谢与作者一同参与研究工作的有关学生；同时对本书所引用参考文献的作者表示衷心谢意。此外，本书的完成得到了河南省自然科学基金(0511011500)、河南省教育厅自然科学基金(2004110007)、河南省软科学研究计划(0513030920)、河南省高校青年骨干教师资助计划等项目的资助，在此表示衷心感谢。  
由于作者水平有限，对书中的不妥与错误之处，诚望读者批评指正!...  
申培萍  
2005年7月于河南师范大学  

全局优化方法 (2010-06-02 10:54:26)转载
标签： 校园 分类： 数学方法
    全局优化研究的是多变量非线性函数在某个约束区域上的全局最优解的特性和构造寻求全局最优解的计算方法，以及求解方法的理论性质和计算表现。由于很可能在一个全局优化问题里存在多个局部最优解，且它们不同于问题的全局最优解，因此人们无法借助于经典的局部优化方法求解这些问题，特别是至今还没有很好的全局性判定准则，使得全局优化的研究极具挑战性。然而，自从20世纪70年代中后期以来，全局优化以惊人的速度在许多方面取得了长足的进展，许多新的全局优化理论及算法也相继出现，并得到了广泛应用。目前全局优化已作为最优化领域中一个独立的学科分支，引起了国内外学者的广泛重视并掀起了该领域的研究热潮，成为一个强有力的工具，被人们应用于对实际问题进行的建模和分析中。
    我国一些学者从20世纪七八十年代开始从事全局优化的研究，他们提出的一些算法，如填充函数法、积分水平集法、区间方法等在国际上产生了一定的影响。还有一些科研人员对全局优化问题中的随机性不确定算法，如遗传算法、模拟退火算法等也进行过相当多的研究。然而，目前在国内介绍有关全局优化方法的书籍还很少，除2003年由清华大学出版社出版的《全局优化引论》中文译本外，笔者还未见到专门讨论确定性全局优化方法的教材或专著。为及时吸收新近发展成熟并得到广泛应用的成果，并应用于我们的教学科研中，作者参阅了近年来国内外的全局优化理论及算法的有关书籍和研究文献，并结合近几年的教学科研实践编写了本书，书中不少内容是作者近几年在全局优化方面的研究成果。..
本书旨在对全局优化的确定性方法作一系统、全面的介绍。本书覆盖全局优化方法的应用、典型的全局优化问题、处理这些问题的主要理论和求解算法等方面。尤其对全局优化的区间方法、松弛方法和分支定界方法等作了系统、全面地介绍。全书的内容在确保全局优化基本理论和方法的基础上，力求尽可能多的包含近期新的研究成果，但由于全局优化的内容如此广泛，新的成果如此丰富，做到这一点非作者的能力所及。全书共分9章：第1章介绍最优化问题的基本概念以及全局最优化的研究概况；第2章介绍全局优化区间方法的相关概念以及求单变量函数全局极小的区间斜率方法；第3章讨论多元函数全局极小的区间方法，包括多元多峰函数的区间剪枝算法和一类非光滑全局优化问题的区间算法；第4章介绍一般约束优化问题的拟凸松弛方法，包括：上、下界函数的构造，拟凸函数的分解技术，优化问题的拟凸松弛的构造，以及利用拟凸松弛求解约束优化问题的分支定界算法；第5章说明非凸优化问题的凸化、凹化和单调化方法；第6章讨论一类非凸优化问题的辅助函数方法；第7章介绍广义几何规划问题的全局优化方法；第8章讨论线性比式和问题的全局优化方法，包括比式和问题松弛化的构造过程及相关的优化算法；第9章讨论几类非线性比式和问题的全局优化方法。全书在叙述上力求深入浅出，便于读者理解。除第1、 2章外，各章内容相对独立，自成体系，读者可以进行跳跃性阅读。

第6页 稳定点

 

第8页 定理1.2.3 很重要，给出一种在约束四边形上构造比式函数和双线性函数凸包络和凹包络的方法。

在分支定界算法中有广泛应用

可以参见 opthome 关于全局优化的专题

http://hi.baidu.com/opthome/blog/category/%C8%AB%BE%D6%D3%C5%BB%AF%B7%BD%B7%A8

Global Optimization Using Interval Analysis book review

凸包络

全局优化方法-4 interval techniques 区间优化方法

全局优化方法-3聚类方法Clustering global optimization methods

全局优化方法-2 枚举搜索complete (enumerative) search strategies

全局优化方法-朴素搜索 naive search

全局优化方法

多极值问题，两个困难问题：一是如何从一个局部极小点跳到另一个局部极小点；二是如何判定当前的极小点是否为全局最优解，即全局最优性条件。目前许多方法研究解决第一个问题，第二个问题尚需进一步探讨。

全局优化方法：

确定性，利用问题的解析性质产生一确定的有限或无限点序列使其收敛于全局最优解——如区间方法、BaB、填充函数法、罚函数法、积分——水平集法、外逼近方法、原始对偶方法等。凸性、单调性、等度连续性、稠密性、Lipschitz常数、水平集等通常称为这类问题全局性的解析性质。这类方法依据某一确定性策略搜索局部极小，并试图跳越已经获得的局部极小而达到某个全局最优点。能够充分利用问题的解析性质，从而计算效率高。

随机类方法，如随投点方法、遗传算法、模拟退火算法、演化策略方法等，从当前近似值出发，以随机扰动方式生成新的初始值，并以一定概率接受新的局部极小，以概率逼近收敛到最优解。这类方法对目标函数性质要求低，从而应用广泛，容易实现、稳定性好，受到广泛关注。

几种确定性方法

1 区间方法：

以区间分析为基础，按照区间算术运算规则用区间变量代替点变量进行区间运算，并将分支定界（BaB）与Moore-Skelboe算法相结合。

http://www.di.ku.dk/hjemmesider/ansatte/stig/CompRatIntv.pdf  1974年

http://webhome.cs.uvic.ca/~vanemden/Publications/mooreSkelb.pdf

所有算法都包含精确区间计算，以及算法的执行效率依赖于目标函数、梯度和约束的区间扩张的构造方法，详见第2、3章。

优点：能在给定精度内求出问题的全部全局极小点

2 分支定界：

3 填充函数方法：

对照 http://ishare.iask.sina.com.cn/f/9194284.html 全局优化.pdf 中的 例图8-3比较容易理解

4 D.C. 规划：

5 单调优化：

6 几何规划：

7 非凸二次规划：

8 离散最优化

8a MIP和线性互补问题LCP的等价性 

8b 极小极大问题

随机方法：

1 二阶段方法：

1A 多重开始和它的随机变形

1B 随机循环

2 随机搜索方法：

3 随机函数方法：

4 现代启发式算法：（略）

本书的研究内容：

通过把区间方法、BaB、松弛方法等有机地结合，提出若干种定解策略以及若干种不含全局最优解的区域删除原则，构造出若干种求全局最优解的确定性算法，证明收敛性，给出数值计算结果。

全书共分9章：

第1章介绍最优化问题的基本概念以及全局最优化的研究概况；

第2章介绍全局优化区间方法的相关概念以及求单变量函数全局极小的区间斜率方法；

区间算法中关于区间扩张的构造方法：

第3章讨论多元函数全局极小的区间方法，包括多元多峰函数的区间剪枝算法和一类非光滑全局优化问题的区间算法；

第4章介绍一般约束优化问题的拟凸松弛方法，包括：上、下界函数的构造，拟凸函数的分解技术，优化问题的拟凸松弛的构造，以及利用拟凸松弛求解约束优化问题的分支定界算法；

第5章说明非凸优化问题的凸化、凹化和单调化方法；

第6章讨论一类非凸优化问题的辅助函数方法；

第7章介绍广义几何规划问题的全局优化方法；

第8章讨论线性比式和问题的全局优化方法，包括比式和问题松弛化的构造过程及相关的优化算法；

第9章讨论几类非线性比式和问题的全局优化方法。