数学建模--非线性规划（二）

//2014年4月20日

//2014年6月20日入“未完成”

//2014年6月21日

参考资料：

http://blog.csdn.net/luoleicn/article/details/6527049

http://blog.csdn.net/dgglx/article/details/6522042

http://www.codelast.com/?p=2780

http://blog.sciencenet.cn/blog-588243-573819.html

http://blog.csdn.net/itplus/article/details/21897443

一.最优化方法的分类（刚开始往往搞不清）

数值非线性全局最优化引言
约束非线性最优化的数值算法大致可以分为 基于梯度的方法 和 直接搜索方法. 基于梯度的方法使用一阶导数 (梯度) 或二阶导数（黑塞（Hessians）矩阵）. 例如，序列二次规划方法(SQP)、增广拉格朗日方法和（非线性）内点法. 直接搜索方法不使用导数信息. 例如，Nelder-Mead、遗传算法和差分进化，以及模拟退火. 直接搜索方法往往收敛速度较慢，但可以对函数和约束条件中噪声存在的限制更为宽松.
通常情况下，算法只建立问题的局部模型. 此外，许多这种算法总是寻求目标函数，或者由目标函数和约束条件合成的一个优值函数的某种减小，来确保迭代过程的收敛. 如果收敛的话，这种算法只找到局部最优解，因此被称为 局部最优化算法. 在 Mathematica 里，局部最优化问题可以用FindMinimum 求解.
然而，全局优化算法 通常通过既允许减小也允许增大目标函数/优值函数来试图求全局最优解. 通常这种算法的计算代价更高. 全局最优化问题可以用 Minimize 精确求解或者用 NMinimize 数值化地求解.

凸目标函数是全局最优的。不然：

牛顿法及其衍生都是局部最优。

神经网络也是局部最优。

内点法，外点法也是局部最优。

模拟退火等是用在无约束规划上的

2.matlab的fmincon函数

有四种方法：内点法，SQP，积极集，可信域。

3.收敛性及收敛速度

最速下降法的收敛性：对一般的目标函数是整体收敛的（所谓整体收敛，是指不会非要在某些点附近的范围内，才会有好的收敛性）。

最速下降法的收敛速度 ：至少是线性收敛的。 上面的最速下降法只用到了梯度信息，即目标函数的一阶导数信息，而牛顿法则用到了二阶导数信息。

牛顿法的收敛性：对一般问题都不是整体收敛的（只有当初始点充分接近极小点时，才有很好的收敛性）。

牛顿法的收敛速度：二阶收敛。因此，它比最速下降法要快。

4.最优化历史（年代越晚越先进）

非线性规划的一个重要理论是1951年Kuhn-Tucker最优条件(简称KT条件)的建立.此后的50年代主要是对梯度法和牛顿法的研究.以Davidon(1959), Fletcher和Powell(1963)提出的DFP方法为起点, 60年代是研究拟牛顿方法活跃时期, 同时对共轭梯度法也有较好的研究. 在1970年由Broyden,Fletcher,Goldfarb 和Shanno从不同的角度共同提出的BFGS方法是目前为止最有效的拟牛顿方法. 由于Broyden, Dennis 和More的工作使得拟牛顿方法的理论变得很完善. 70年代是非线性规划飞速发展时期, 约束变尺度(SQP)方法(Han和Powell为代表)和Lagrange乘子法(代表人物是Powell 和Hestenes)是这一时期主要研究成果.计算机的飞速发展使非线性规划的研究如虎添翼.80年代开始研究信赖域法、稀疏拟牛顿法、大规模问题的方法和并行计算, 90年代研究解非线性规划问题的内点法和有限储存法. 可以毫不夸张的说, 这半个世纪是最优化发展的黄金时期