最优化理论与方法的一些重点概念

牛顿法与拟牛顿法区别与联系：

牛顿法：

优点：二阶收敛，收敛速度快；

缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。目标函数必须具有连续的一、二阶偏导数，海森矩阵必须正定。如果海塞矩阵无法保持正定，会使得牛顿法失效。

拟牛顿法：

区别点

使用正定矩阵来近似Hessian矩阵的逆， (因为只有正定矩阵才能保证牛顿法的搜索方向是向下搜索的），从而简化了运算的复杂度。拟牛顿法最关键的地方就是每一步迭代中矩阵Bk 的更新。常用的拟牛顿法有DFP算法和BFGS算法

两者相同点：牛顿法（Newton method）和拟牛顿法（quasi Newton method）是求解无约束最优化问题的常用方法，有收敛速度快的优点。

两者区别：在于用近似的Hesse矩阵Bk ，代替真实的Hesse矩阵。

同：本质上都是在若干约束条件下的函数极值问题。

动态规划：

动态规划方法把全过程化为一系列结构相似的子问题，每个子间题的变量个数大大减少，约束集合也简单得多，易于得到全局最优解

没有统一的标准模型，大部分情况只能够凭经验判断是否适用动态规划

动态规划的解决方法，是利用状态转移方程把问题归结的子问题求解。换句话讲，把最终状态的求解归结为其他状态的求解

静态规划：从一个或多个可行解开始，通过不断迭代对现有可行解优化，最后得到最优解

步骤

两者相同点：牛顿法（Newton method）和拟牛顿法（quasi Newton method）是求解无约束最优化问题的常用方法，有收敛速度快的优点。

两者区别：在于用近似的Hesse矩阵Bk ，代替真实的Hesse矩阵。

动态规划问题与静态规划问题（线性和非线性规划）的异同及一些静态规划问题如何化为动态规划问题

同：本质上都是在若干约束条件下的函数极值问题。

动态规划：

动态规划方法把全过程化为一系列结构相似的子问题，每个子间题的变量个数大大减少，约束集合也简单得多，易于得到全局最优解

没有统一的标准模型，大部分情况只能够凭经验判断是否适用动态规划

动态规划的解决方法，是利用状态转移方程把问题归结的子问题求解。换句话讲，把最终状态的求解归结为其他状态的求解

静态规划：从一个或多个可行解开始，通过不断迭代对现有可行解优化，最后得到最优解

动态规划建模步骤：

步骤

步骤1  划分阶段：按时间或者空间先后顺序，将过程划分为若干个相互联系的阶段。

步骤2  正确选择状态变量Xk 既要确切描述过程演变又要满足无后效性。(一般从过程的演变特点当中寻找)

步骤3  确定决策变量Uk及允许决策集合Dk(Xk)(通常选择所求解问题的关键变量作为决策变量)

步骤4  确定状态转移方程Xk+1=Tk(Xk,Uk)

步骤5  确定阶段指标Vk和最优指标函数，建立动态规划基本方程

逆推解法和顺推解法的异同(动态规划解法)

 

 

乘子法与惩罚函数法的异同

1. 罚函数：根据约束条件的特点，构造出惩罚函数，然后加入到目标函数中，将有约束的问题转化为无约束问题；新目标函数的解与原始目标函数解一致；

1. 乘子法：给予违反约束适当的惩罚，使得无约束的拉格朗日函数的解与原优化函数的解一致。拉格朗日乘子法的策略是将有约束的问题转化成无约束的优化问题

1. 同：将有约束的问题转化成无约束的优化问题

 不同：

 

内点法与外点法的比较：