强化学习在船舶中的应用（四）——三种方法

强化学习的三种方法

前面文章已经定义了有关强化学习的主要概念，下面继续讲解解决强化学习问题的三种方法。

（一）基于价值

在基于价值的智能体中，其目标是优化价值函数V（s）。价值函数是一个函数，它用来刻画智能体在每个状态下获得的最大预期未来奖励。每个状态的价值是从该状态开始，智能体在未来积累的奖励总和（期望）。

智能体通过使用值函数，在每个步骤中对下一个状态进行选择。智能体获得具有最大期望价值的状态。例如在以下迷宫示例中，我们将依次选取最大值：-7，然后是-6，然后是-5（依此类推）以达到目标。

（二）基于策略

在基于策略的智能体中，我们希望在不使用值函数的情况下直接对策略函数π（s）进行优化。该策略定义了，在给定某状态下采取那种动作。

通过对策略函数进行学习，使我们可以将每个状态映射到最佳的相应操作。

策略主要分为两种：

• 确定性：给定状态下的策略将始终返回相同的动作。
• 随机：给定状态下的策略将，按照一定概率采取不同的动作。

正如我们在此处看到的，策略直接指出了针对每个步骤采取的最佳操作。

（三）基于模型

在基于模型的智能体中，我们对环境进行建模。

这个非常重要！！！

这个非常重要！！！

这个非常重要！！！

根据所研究问题需要，要建立恰当的仿真环境\真实。后面文章会讲，如何建立船舶仿真环境，对船舶智能体进行训练。（希望，硕士毕业前，还能完成真实环境，对船舶智能体的训练）