最优化理论学习———问题汇总

最优化理论学习———问题汇总

• 问题形式

$min f(x)$
$s.t. x \in X$
其中 $x \in R^n$ 为 决策变量， $f(x)$为目标函数， $X$ 为可行域或者约束集，当约束集$X=R^n$，退化为 无约束问题。

对于约束集，通常包括了等式约束和不等式约束两种指标集。
对于上述一般形式，可以概括出，多个规划问题。

• 线性规划和非线性规划

当目标函数和约束函数都为线性函数时，则问题为线性规划问题；
当目标函数或者约束函数中，至少有一个为变量x的非线性函数，则问题为非线性规划问题；

从上可以看出，优化问题可以直观的理解为规划问题！！

根据决策变量和目标函数以及要求的不同，规划问题主要分为：
整数规划、动态规划、网络规划、非光滑规划、随机规划、几何规划和多目标规划。

主要定义如下：

1. 整数规划
   定义：规划中的变量（全部或部分）限制为整数，称为整数规划，从约束条件的构成又可细分为线性，二次和非线性的整数规划。
   整数规划是从1958年由R.E.戈莫里提出割平面法之后形成独立分支的。

   • 常见问题：
     组合最优化：背袋（或装载）问题、固定费用问题、和睦探险队问题（组合学的对集问题）、有效探险队问题（组合学的覆盖问题）、旅行推销员问题, 车辆路径问题，0-1规划等。
   • 问题求解思路
     分支定界法和割平面法
   • 0-1规划
     任何有界变量的整数规划都与0-1规划等价，用0-1规划方法还可以把多种非线性规划问题表示成整数规划问题，常用方法是分枝定界法，对各种特殊问题还有一些特殊方法，例如求解指派问题用匈牙利方法就比较方便。

2. 动态规划
   定义：动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)，把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系，逐个求解，创立了解决这类过程优化问题的新方法——动态规划。

   • 常见问题
     动态规划一般可分为线性动规，区域动规，树形动规，背包动规四类。
     线性动规：拦截导弹，合唱队形，挖地雷，建学校，剑客决斗等；
     区域动规：石子合并， 加分二叉树，统计单词个数，炮兵布阵等；
     树形动规：贪吃的九头龙，二分查找树，聚会的欢乐，数字三角形等；
     背包问题：01背包问题，完全背包问题，分组背包问题，二维背包，装箱问题，挤牛奶（同济ACM第1132题）等；
   • 应用实例
     最短路径问题 ，项目管理，网络流优化等；
   • 问题求解
     动态规划算法通常用于求解具有某种最优性质的问题。在这类问题中，可能会有许多可行解。每一个解都对应于一个值，我们希望找到具有最优值的解。动态规划算法与分治法类似，其基本思想也是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。与分治法不同的是，适合于用动态规划求解的问题，经分解得到子问题往往不是互相独立的。若用分治法来解这类问题，则分解得到的子问题数目太多，有些子问题被重复计算了很多次。如果我们能够保存已解决的子问题的答案，而在需要时再找出已求得的答案，这样就可以避免大量的重复计算，节省时间。我们可以用一个表来记录所有已解的子问题的答案。不管该子问题以后是否被用到，只要它被计算过，就将其结果填入表中。这就是动态规划法的基本思路。

3. 网络规划
   定义：基于图论的优化问题，可以说，图论为任何一个包含了某种二元关系的系统提供了一种分析和描述的模型。

   • 常见问题
     最短路径、路径规划问题、最大流与最小费用问题、另外还有pageRank等页面排序算法。

4. 非光滑规划
   定义：非光滑优化关注的是最优决策问题，这些问题的共同点在于目标函数与约束函数不可避免的具有较差的解析性质。好的解析性质在进行深刻的理论分析和构造有效算法方面是非常关键的，而这些解析性质中最重要的就是各阶导数的存在性和连续性。导数不存在会导致理论分析上的困难和算法实际执行上的失败。缺乏连续导数将会使精确地预测控制变量的微小改变对系统所产生的影响变得十分困难。

   • 常见算法
     在非光滑优化的算法中,典型的有拟牛顿法、次梯度法、束方法和直接方法如模式搜索法、复形调优法和Powell方法等。

5. 随机规划
   定义：随机规划是处理数据带有随机性的一类数学规划，它与确定性数学规划最大的不同在于其系数中引进了随机变量，这使得随机规划比起确定性数学规划更适合于实际问题。

   • 求解方法
     第一种是转化法，即将随机规划转化成各自的确定性等价类，然后利用已有的确定性规划的求解方法解之；
     另一种是逼近方法，利用随机模拟技术，通过一定的遗传算法程序，得到随机规划问题的近似最优解和目标函数的近似最优值。

6. 几何规划
   定义：几何规划的目标函数和约束条件均由广义多项式构成 ，这是一类特殊的非线性规划，利用其对偶原理，可以把高度非线性问题的求解转化为具有线性约束的优化问题求解，使计算大为简化。

   • 正项式几何优化
     ⅰ) 对偶方法
     ⅱ) 基于原规划的压缩法
     ⅲ) 正项式几何规划的等价形式—半无限线性规划
     此外，还有方法：
     ⅰ) Kortanek针对正项式几何规划问题提出一种不可行内点算法, 大量的数值实验表明, 该算法是求解正项式几何规划的有效算法。
     ⅱ) 将线性规划的内点算法与求解非线性方程组的同伦算法相结合,用于求解正项式几何规划, 得到了具有多项式时间特性的新算法。
     ⅲ) 可借助对偶及矩阵分析理论为约束正项式几何规划构造内点算法。
     ⅳ) 利用寻找切向量空间的正交基方法, 构造正项式几何规划的序列线性方程组算法。
     ⅴ) 拟Newton算法。
   • 带负系数的几何规划(广义几何规划)
     广义几何规划常用方法有对偶法和压缩法, 也出现了一些新方法, 如：
     ⅰ) 对混合约束广义几何规划问题, 可构造序列二次规划算法。
     ⅱ) 利用约束变尺度法构造出有效算法。
     ⅲ) 利用无约束广义几何规划的特点, 构造出有效的信赖域算法。

7. 多目标规划
   定义：多目标规划是数学规划的一个分支。研究多于一个的目标函数在给定区域上的最优化。又称多目标最优化。通常记为 MOP(multi-objective programming)。

   • 求解方法
     （1）效用最优化模型
     线性加权法
     思想：规划问题 的各个目标函数可以通过一定的方式进行求和运算。这种方法将一系列的目标函数与效用函数建立相关关系，各目标之间通过效用函数协调，使多目标规划问题转化为传统的单目标规划问题：
     （2）罚款模型
     理想点法
     思想：规划决策者对每一个目标函数都能提出所期望的值（或称满意 值）；
     通过比较实际值fi与期望值fi* 之间的偏差来选择问题的解。
     （3）约束模型
     极大极小法
     思想 ：若规划问题的某一目标可以给出一个可供选择的范围，则该目标就可以作为约束条件而被排除出目标组，进入约束条件组中。
     （4）目标规划模型
     目标规划法
     思想：需要预先确定各个目标的期望值$f_i^*$ ，同时给每一个目标赋予一个优先因子和权系数，假定有$K$个目标，$L$个优先级$（ L≤K）$。

---