智能优化算法改进策略之局部搜索算子(六)--进化梯度搜索

1、原理介绍

    进化梯度搜索(Evolutionary Gradient Search, EGS)[1]是兼顾进化计算与梯度搜索的一种混合算法，具有较强的局部搜索能力。在每次迭代过程中，EGS方法首先用受进化启发的形式估计梯度方向，然后以最陡下降的方式执行实际的迭代步骤，其中还包括步长的自适应，这一过程的总体方案如下图所示：

    文献[1]中指出了进化梯度搜索(EGS)与经典的进化算法的区别。在产生并评估了解的后代之后，进化算法通常只选择最适合的后代作为下一代的亲本。因此，进化算法通常会丢弃最差(未选择)后代中包含的所有信息。相反，EGS算法使用所有后代候选解来计算(全局)梯度的估计。此外，由于后续的测试步骤，EGS程序不是一个纯粹的进化算法，而是一个混合方法。

2、基于动量项加速的版本

从经典的优化技术中，我们知道，在某些情况下，最速下降方法表现出无用的梯度振荡:它不是沿着非常窄的山谷，同时优化路径可能在两边之间振荡，导致沿着山谷方向的有效进展非常小。可以设想，这个问题可以通过使用动量项(例如，[2])来缓解。通过整合之前的步骤来提供一种记忆。动量项可以表示为：

3、仿真实验

以海洋捕食者算法（MPA）为基本算法。考察基于进化梯度搜索的改进海洋捕食者算法（命名为EGS-MPA） vs. 海洋捕食者算法（MPA）

在Sphere函数上的比较：

在Rosenbrock函数上的比较：

在CEC2017-1上：

在CEC2017-3上：

在CEC2017-4上：

在CEC2017-12上：

在CEC2017-23上：

代码获取：

4、参考文献

[1] Salomon R. Evolutionary algorithms and gradient search: similarities and differences[J]. IEEE Transactions on Evolutionary Computation, 1998, 2(2): 45-55.

[2] R. Salomon and J. L. van Hemmen, “Accelerating backpropagation through dynamic self-adaptation,” Neural Networks, vol. 9, no. 4, pp.589–601, 1996.