强化学习笔记 - 00 - 术语和数学符号

最新推荐文章于 2023-11-18 17:05:42 发布

xl.zhang

最新推荐文章于 2023-11-18 17:05:42 发布

阅读量4.1k

点赞数 1

分类专栏：【强化学习】【强化学习小白之路】文章标签：强化学习机器学习术语

本文链接：https://blog.csdn.net/u011254180/article/details/84031546

版权

基本概念

Agent - 本体。学习者、决策者。
Environment - 环境。本体外部的一切。
- 状态(state)。一个表示环境的数据。
S,S - 所有状态集合。环境中所有的可能状态。
- 行动(action)。本体可以做的动作。
A,A - 所有行动集合。本体可以做的所有动作。
A(s),A(s) - 状态的行动集合。本体在状态下，可以做的所有动作。
- 奖赏(reward)。本体在一个行动后，获得的奖赏。
- 所有奖赏集合。本体可以获得的所有奖赏。

$S_{t}$ - 第t步的状态(state)。 from 0
$A_{t}$ - 第t步的行动(select action)。 from 0
$R_{t}$ - 第t步的奖赏(reward)。 from 1
$G_{t}$ - 第t步的长期回报(return)。 from 0。 强化学习的目标1：追求最大回报

$\\G_{t} \doteq \sum_{k=0}^{\infty}\gamma ^{k}R_{t+k+1} \\where \\k - the sequence number of an action \\r - discount rate,0\leq \gamma \leq 1$

可以看出，当 $\gamma =0$ 时，只考虑当前的奖赏。当 $\gamma =1$ 时，未来的奖赏没有损失。
$G_{t}^{(n)}$ - 第t步的n步回报(n-step return)。一个回报的近似算法。

$\\G_{t}^{(n)} \doteq \sum_{k=0}^{n}\gamma ^{k}R_{t+k+1} \\where \\k - the sequence number of an action \\r - discount rate,0\leq \gamma \leq 1$

$G_{t}^{\lambda }$ - 第t步的 $\lambda$ 回报( $\lambda$ - return)。一个回报的近似算法。可以说是 $G_{t}^{(n)}$ 的优化。

最低0.47元/天解锁文章

xl.zhang

关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
强化学习笔记 - 00 - 术语和数学符号

基本概念Agent - 本体。学习者、决策者。Environment - 环境。本体外部的一切。 - 状态(state)。一个表示环境的数据。 - 所有状态集合。环境中所有的可能状态。 - 行动(action)。本体可以做的动作。 - 所有行动集合。本体可以做的所有动作。 - 状态的行动集合。本体在状态下，可以做的所有动作。 - 奖赏(reward)。本体在一个行动后，获得的奖赏。 - 所有...
复制链接

扫一扫