智能优化方法

智能优化问题

优化问题主要分为两大类：函数优化问题和组合优化问题。这里我主要想写一些传统的优化方法。

第一——穷举法

首先是一个基本的也是最牛的优化方法：穷举法。但是穷举法只能适用于离散型的问题，连续型的是没有办法穷举的，也没有办法都列举出来。所以穷举只能算是一个很基本的方法了。这里就不介绍了。

第二——基于梯度的优化方法

1.梯度下降法：每次搜索方向都是梯度下降最快的方向（负梯度方向）。梯度下降法的缺点在于第一当靠近极小值时收敛速度减慢，第二对于直线搜索问题不适用，第三可能会出现“之字形”的下降方式，出现震荡。

2.牛顿法：牛顿法的优点是收敛较快，是呈二阶收敛的。缺点是目标矩阵计算量大（因为要求二阶导数）。

3.共轭梯度法：共轭梯度法的一个最大优点是它仅利用一阶导数信息。

上述经典优化方法的缺点是：
（1）对目标函数、约束函数有很高要求（包括有显示表达式，线性、连续、可微）。
（2）只从一个初始点出发、难以并行。
（3）最优性难到达（问题函数为凸，可行域为凸）。

第三——启发式搜索的优化方法

启发式搜索：利用问题的启发信息来引导搜索。
1.离散优化问题：爬山算法、动态规划、禁忌搜索。
2.连续优化问题：下山单纯算法、模式搜索、Powell
这里有一个重要内容要介绍——即产生与测试

产生与测试：
（1）产生一个可能的解。
（2）测试这个解是否为真正需要的解。
（3）如果是所需要的解则退出，否则回到步骤1

爬山算法：

是一种局部搜索算法。爬山法的过程是：