强化学习——Q-learning算法

Q-learning 简介

Q-learning是一个无模型强化学习算法。Q-learning的目标是学习一个策略，它告诉agent在什么情况下应该采取什么行动。它不需要环境的模型(因此就有了“无模型”的含义)，并且它可以处理随机转换和奖励的问题，而不需要适应。

对于任何有限马尔可夫决策过程(FMDP)， Q-learning发现一个策略是最优的，从这个意义上说，它从当前状态开始，在所有连续的步骤中最大化总回报的期望值。Q-learning可以为任意给定的FMDP，给定无限的探索时间和部分随机的策略确定最优的行动选择策略。“Q”将返回用于提供强化的奖励的函数命名为，并且可以说是表示在给定状态下所采取行动的“质量”。

强化学习

强化学习包括一个代理、一组状态一组每个状态的操作。通过执行一个操作，代理从一个状态转换到另一个状态。在特定的状态下执行一个动作会为代理提供一个奖励(一个数值分数)。

代理人的目标是使其总(未来)报酬最大化。它通过在实现当前状态的奖励基础上增加未来状态可获得的最大奖励，从而通过潜在的未来奖励有效地影响当前的行为。这个潜在的奖励是从当前状态开始的所有未来步骤的奖励的期望值的加权和。

计算公式