最优化理论算法

1 预备知识

1.1 最优化问题

1.1.1最优化问题的数学模型一般形式为：

                                                                                                   目标函数          

                              s.t 约束条件                不等式约束

                                                                        等式约束                 

                                                       其中：       决策变量

 1.1.2 分类

                根据数学模型中有无约束函数分为无约束的最优化问题和有约束的最优化问题

                约束优化问题又分为等式约束最优化问题和不等式约束最优化问题

                线性规划LP：当目标函数和约束函数均为变量x的 线性函数时，称为线性规划问题

               非线性规划NLP：当目标函数和约束函数中至少有一 个为变量x的非线性函数时，称为非线性规划问题。

               根据决策变量、目标函数和约束条件的不同，最优化还可分为二次规划、整数规划、动态规划、网络优化、非光滑优化、随机规划、几何规划、目标规划、模糊规划、全局最优化等若干分支。

1.1.3 基本术语

          可行解：满足约束条件的x称为可行解，也称为可行点或容许点

          可行域 全体可行解构成的集合称为可行域，也称为容许集，记为D,即：

                   

          全局最优解：若

                 

       局部最优解：

               

       注意：全局最优解一定是局部最优解；局部最优解不一定是整体最优解

       求解最优化问题，实际上是求可行域D上的全局最优解。但是，在一般情况下，整体最优解是很难求出的，最优化中的大多数方法是求局部最优解

       梯度：

       

1.2 函数的下降方向

                迭代算法Iterative Algorithm ：选取一个初始可行点，由这个初始可行点出发，依次产生一个可行点列：，使得xk恰好是问题的一个最优解，或者该点列收敛到问题的一个最优解。

              对于一种算法，应该有某种终止准则，当某次迭代满足终止准则时，就停止迭代。常用的终止准则有：

          

           下降算法Descent Algorithm： 在迭代算法中一般要求：

           下降方向Descent Direction ：

          

         凸集

         

        凸函数：

                

         凸规划：

          

注意：凸规划问题的任一局部极小点是全局极小点，且全体极小点的集合为凸集．

          

1.3 最优化问题算法概述

          

          评价一个算法的好坏，通常注意以下几个方面：通用性(Generality)  ：可求解问题的广度越大越好；可靠性(Reliability)： 指以合理的精度，求解设计的这个算法时，针对要解决那个问题的能力；精确性(Precision)：指计算舍入误差和累进误差及可行性；对参数和数据的灵敏性(Sensitivity)：原则：越不灵敏越好；预备工作量和计算量的大小 ：有时预备工作量比计算量本身还大；收敛性(Convergency)   考虑收敛速度，越快越好

1.3 多元函数的梯度

2、线性规划

2.1 线性规划模型

2.1.1 标准型

                模型包含：1组决策变量、一个线性目标函数、一组线性的约束条件；

                线性规划模型LP的一般形式：

                

                 

2.1.2 一般型化为标准型

              

             

2.1.3 线性规划的图解法

        

        

2.1.4 线性规划解的概念

           

           注意：线性规划问题的可行域D是凸集

          

         

         

         

        

        典例：

        

             

       

      注意：

     

     

    

   注意：最优解是最优的基本可行解；即最优解一定是基本可行解，基本可行解不一定是最优解

2.2 求解线性最优解的方法

2.2.1 单纯形法

   

    A.典例如下

     

    

   

B.单纯形法获得最优解的判定条件如下

C.单纯形法之基变换

D.单纯形法之单纯形表