单目标优化算法分类和主要经典算法

  International Journal of Complexity in Applied Science and Technology收录进化计算，机器学习和大数据方面的论文。

单目标优化算法主要根据其工作原理和策略可以分为几类，以下是一些主要的经典算法及其特点：

1. 传统优化算法：

   • 穷举搜索（Exhaustive Search）：通过枚举所有可能的解来找到最优解。适用于问题空间较小的情况，但计算成本通常很高。
   • 单纯形法（Simplex Method）：主要用于线性规划，通过不断移动多边形的顶点来寻找最优解。

2. 启发式算法：

   • 模拟退火算法（Simulated Annealing）：模拟物理中的退火过程，以概率接受比当前解更差的解，有助于跳出局部最优解。
   • 遗传算法（Genetic Algorithm）：通过模拟自然选择和遗传机制，利用交叉、变异等操作来演化优良解，适用于复杂的非线性优化问题。
   • 粒子群优化算法（Particle Swarm Optimization, PSO）：模拟鸟群或鱼群的群体行为，通过个体的位置和速度更新来搜索最优解。
   • 人工鱼群算法（Artificial Fish Swarm Algorithm）：模拟鱼群觅食行为，通过觅食、觅食效率和群体协作来优化解的搜索。
   • 蚁群算法（Ant Colony Optimization, ACO）：模拟蚂蚁寻找食物的行为，通过信息素的更新和路径选择来寻找最优解。

3. 进化算法（续）：

   • 遗传规划（Genetic Programming, GP）：使用进化算法来优化生成程序（通常是树状结构），适用于符号回归和符号分类等问题。
   • 差分进化算法（Differential Evolution, DE）：通过引入差分操作，使用基于向量的演化策略来寻找全局最优解。

4. 优化算法：

   • 牛顿法和拟牛顿法：通过计算目标函数的梯度信息来寻找最优解，适用于连续可微的优化问题。
   • 共轭梯度法（Conjugate Gradient）：适用于二次型目标函数，通过共轭方向的迭代来加速收敛过程。
   • Levenberg-Marquardt算法：主要用于非线性最小二乘问题，结合了牛顿法和梯度下降法的优点。
   • 信赖域方法（Trust Region Methods）：在每个迭代步骤中定义一个信赖域，限制解的移动范围以确保步长适当和有效。

5. 其他启发式和元启发式算法：

   • 禁忌搜索（Tabu Search）：通过记忆搜索过程中的禁忌移动，避免陷入局部最优解。
   • 粒子群优化算法（Particle Swarm Optimization, PSO）：模拟鸟群或鱼群的群体行为，通过个体的位置和速度更新来搜索最优解。
   • 模拟退火算法（Simulated Annealing）：模拟物理中的退火过程，以概率接受比当前解更差的解，有助于跳出局部最优解。