优化算法种类

1  进化类

    将“适者生存”进化规律模式化的优化搜索技术。

1.1 遗传算法（Genetic Algorithm，GA）

    遗传算法是模拟生物在自然环境中的遗传和进化过程而形成的自适应随机全局搜索和优化方法。

    算法操作过程：解决方案种群中逐次产生一个近似最优解，称为一代；在每一代中，根据个体在问题域中的适应度和从自然遗传学中借鉴来的再造方法进行选择，产生一个新的近似解，即下一代。新个体比原个体更适应环境。

1.2 差分进化算法（Differential Evolution，DE）

    差分进化算法是基于群体智能理论的优化方法，是通过群体内个体间的合作与竞争产生的智能优化搜索。

    与进化算法相同之处：使用全局搜索策略

    与进化算法不同之处：基于差分的简单编译操作；“一对一”的竞争生存策略；具有记忆能力，可跟踪搜索情况以调整搜索策略。

1.3 免疫算法（Immune Algorithm，IA）

    免疫算法是模仿生物满意机制，采用群体搜索策略并迭代计算；利用自身多样性和维持机制，克服“早熟”问题，求解全局最优。

2  群智能算法

    群智能算法是一种基于生物群体行为规律的计算技术，用来解决分布式问题。这种犯法只需要目标函数的输出值，不需要其梯度信息。

2.1 蚁群算法（Ant Colony Optimization，ACO）

    蚁群算法是通过模拟自然界中蚂蚁集体寻径行为而提出的一种基于种群启发式随机搜索算法。

    方法：蚂蚁在走过的路径上留下信息素；后来的蚂蚁大概率选择信息素强的路径；信息素强度大会吸引更多蚂蚁，形成正反馈，最终找到最短路径。

    特点：分布式计算、无中心控制、分布式个体间间接通信等特征。

2.2 粒子群算法（Particle Swarm Optimization，PSO）

    粒子群算法是一种基于群体智能的全局随机搜索算法。

    与其他进化算法相同之处：基于“种群”、“进化”概念，进行个体竞争

    与其他进化算法不同之处：不进行交叉、变异、选择等进化算子操作；而是将个体向吱声历史最佳位置和领域历史最佳位置集聚。

    应用：非线性、多峰问题。

3  模拟退火算法（Simulated Annealing，SA）

    模拟退火算法是一种基于迭代求解策略的随机寻优算法；局部搜索算法的扩展，以一定的概率选择领域只能怪目标值最大的状态。

    特点：克服局部极值的缺陷和对初值的依赖性。

    方法：定义邻域结构；在邻域结构内选取相邻解；利用目标函数进行评估。

4  禁忌搜索算法（Tabu Search or Taboo Search，TS）

    通过禁忌准则来避免重复搜索；通过藐视准则来赦免一些被禁忌的优良状态。

5  神经网络算法（Artificial Neural Network，ANN）

    神经网络是一种模仿生物神经系统 新的信息处理模型。