强化学习与进化优化的关系？

在上一篇博客中介绍过：强化学习既代表了一类问题，同时也是解决这类问题的一种机器学习范式，但是它和进化优化算法或者其他优化算法之间有什么样的关系呢？

强化学习的核心是就是对价值函数的评估，也就是说强化学习的核心就是计算价值函数。既然如此，我们也可以用进化优化算法来计算其价值函数。从狭义角度看，强化学习算法也可以看做是优化算法。

这里有必要辨析一下进化算法和强化学习算法的差异及各自适用范围：

进化优化算法包含遗传算法、遗传规划等等，主要特点是无需显式计算价值函数（这点与强化学习不同，强化学习是需要显式计算价值函数，例如Q表），是“黑箱”优化算法，进化算法的思想是将不同的初始策略编码到不同个体中，这些个体与环境的长时间交互，获得最终收益（适应度函数），利用适应度函数选择最优的进入下一代，经过交叉、变异操作，重新进行收益评估。很显然，进化算法具有以下特点：无需求导特性、群体特性、解的多样性、并行计算性、全局最优解等。但是最大的问题就是在一代当中不能迭代学习，因此收敛速度慢。

而强化学习相当于人类在一生中不断地学习进步，与环境的交互过程中不断改进其策略，无须等到一代的结束，因此迭代速度更快。