【学习笔记】强化学习 Chapter 3 Finite Markov Decision Processes

最新推荐文章于 2024-10-31 17:28:42 发布

aJay99

最新推荐文章于 2024-10-31 17:28:42 发布

阅读量161

点赞数 1

文章标签：学习人工智能

本文链接：https://blog.csdn.net/aJay99/article/details/128572182

版权

本文详细解答了《强化学习》第二版Chapter 3中的多个练习题，涉及连续任务与回合制任务的区别，奖励序列的计算，贝尔曼方程的应用，最优策略的确定等核心概念。

摘要由CSDN通过智能技术生成

Reference:

Reinforcement Learning: An Introduction 2nd Edition

Exercise 3.5

$\sum_{s' \in \mathcal{S}} \sum_{r \in \mathcal{R}} p(s', r| s, a) = 1,\text{for all } s \in \mathcal{S}, a \in \mathcal{A}(s)$ (3.3)

公式(3.3)适用于连续任务(continuous task)，请对其进行修改使它适用于回合制任务(episodic task)。

解：

$\sum_{s' \in \mathcal{S^+}} \sum_{r \in \mathcal{R}} p(s', r| s, a) = 1,\text{for all } s \in \mathcal{S}, a \in \mathcal{A}(s)$

这里 $\mathcal{S}$ 表示所有的非终止状态(nonterminal state)， $\mathcal{S}^+$ 表示所有的状态(terminal states and nonterminal states)

Exercise 3.6

假设将平衡杆问题视为episodeic task，并且使用discounting。除了失败时的reward是-1，其余时间reward均为0。那么每次的reward应是多少？它与将其视为continuous task有什么区别？

解：

每一回合的reward是 $-\gamma^{T-1}$ ， $T$ 是该回合失败的时间点。

它与continuous task不同的是，在continuous task中每次失败后时间t不会归零，而在episodic task中失败后时间会归零并开启新的回合。

Exercise 3.7

假设我们需要设计一个走迷宫的机器人，并决定在它逃出迷宫的时候给它一个+1的reward，其他时刻reward均为0。我们将其视为episodic task：每成功逃出一次算作一个episode。我们的目标是最大化总reward的期望：即 $G_t = R_{t+1} + R_{t+2} + \dots R_T$ 。将机器人运行一段时间后我们发现，它在逃出迷宫这项任务上没有任何长进，问题出在了哪里？我们应如何有效地告诉机器人我们想让它完成的任务？