优化算法概述

1 优化算法分类

优化算法主要分为启发式算法和智能随机算法。

1.1  启发式算法

启发式方法指人在解决问题时所采取的一种根据经验规则进行发现的方法。或者说是一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。启发式算法依赖对问题性质的认识，属于局部优化算法。

启发式算法的特点是在解决问题时，利用过去的经验，选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案。启发式优化方法种类繁多，包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等群智能算法。

1.2  智能随机算法

智能随机算法不依赖问题的性质，按一定规则搜索解空间，直到搜索到近似优解或最优解，属于全局优化算法，其代表有遗传算法、模拟退火算法、粒子群算法、禁忌搜索算法等。

所以说很多算法没有明确的规定是属于哪一类算法，从不同的角度看，可以归于不同的算法类。