强化学习的三种方法
前面文章已经定义了有关强化学习的主要概念,下面继续讲解解决强化学习问题的三种方法。
(一)基于价值
在基于价值的智能体中,其目标是优化价值函数V(s)。价值函数是一个函数,它用来刻画智能体在每个状态下获得的最大预期未来奖励。每个状态的价值是从该状态开始,智能体在未来积累的奖励总和(期望)。
智能体通过使用值函数,在每个步骤中对下一个状态进行选择。智能体获得具有最大期望价值的状态。例如在以下迷宫示例中,我们将依次选取最大值:-7,然后是-6,然后是-5(依此类推)以达到目标。
(二)基于策略
在基于策略的智能体中,我们希望在不使用值函数的情况下直接对策略函数π(s)进行优化。该策略定义了,在给定某状态下采取那种动作。
通过对策略函数进行学习,使我们可以将每个状态映射到最佳的相应操作。
策略主要分为两种:
- 确定性:给定状态下的策略将始终返回相同的动作。
- 随机:给定状态下的策略将,按照一定概率采取不同的动作。
正如我们在此处看到的,策略直接指出了针对每个步骤采取的最佳操作。
(三)基于模型
在基于模型的智能体中,我们对环境进行建模。
这个非常重要!!!
这个非常重要!!!
这个非常重要!!!
根据所研究问题需要,要建立恰当的仿真环境\真实。后面文章会讲,如何建立船舶仿真环境,对船舶智能体进行训练。(希望,硕士毕业前,还能完成真实环境,对船舶智能体的训练)