优化算法------开题的文献综述

老师说我写的不行，重写，呵呵 老师要求比较严格 当然还是严格点好
我要好好再修改改了。

学位论文题目为《基于聚类分析的启发式优化算法》，论文内容涉及了优化算法（主要是经典优化算法，启发式优化算法），算复杂性理论和聚类分析等相关领域。根据这些领域与论文的相关程度，比较详细的归纳总结启发式优化算法，对计算复杂性理论和聚类分析只做了一般性的总结。最后对这些相关领域未来的发展和研究提出自己的观点。

最优化问题

在现实生活中许多重要的问题，都涉及到选区一个最好的目标，或者为达到这个目标而选择某些参数、确定某些值，这些问题都可以归结为最优化问题。

对于一个最小值问题，其形式的描述为

（1）

这里的S为解的可行域，也称为解空间或搜索空间，条件 概括了对向量 的约束。这些约束可以包括线性或非线性函数，以及离散变量，都可以根据实际要求设置。

最优化问题的目标是找到（1）的最优解（全局最优解或局部最优解）。显然，只要改变目标函数的符号，最大值问题就可以转变成最小值问题，因此，本文在说明都是以最小值问题问标准。

解决最优化问题的算法称为最优化算法，可以分为经典优化算法和启发式优化算法。经典算法的确立可以从（G.B.Dantzig 1947）提出解决线形规划的单纯形（Simplex method）开始，但单纯形不是多项式算法（在后面计算复杂性中会提到）。随后，Kamaka提出了椭球算法(多项式算法)，内点法。对于非线性问题，起初人们试图用线性优化理论去逼近求解非线性问题，但效果并不理想。后来的非线性理论大多都建立在二次（凸）函数的基础上，也就用二次函数去逼近其他非线性函数。在此基础上提出许多优化经典的优化算法。无约束的优化算法包括：最速下降法（steepest）、共轭梯度法、牛顿法（Newton Algorithm）、拟牛顿法（pseudo Newton Algorithms）、信赖域法。

约束优化算法包括：拉格朗日乘子法（Augmented Lagrangian Algorithms），序列二次规划（ＳＱＰ）等。（这里不再对其算法思想作详细介绍）

随着社会的发展，实际问题越来越复杂，例如全局最优化问题。经典算法一般都用得局部信息，如单个初始点及所在点的导数等，这使得经典算法无法避免局部极小问题。全局最优化是NP-Hard问题(在后面计算复杂性中会提到