强化学习概念
States and Observations
- state是对世界状态的完全描述,
- observation是对state的部分描述
Action Spaces
- 离散,如一些游戏
- 连续,如机器人的运动速度和角度
Policies
- agent决定如何action
- 可以是确定的:
- 可以是随机的,由概率分布
决定:
Trajectories
是初始的状态分布
~
- 可以是确定的:
- 可以是随机的:
~
Reward and Return
- 当前步奖励Reward:
- 累计奖励
The RL Problem
-
select a policy which maximizes expected return when the agent acts according to it.
- 首先计算给定策略
特定
发生的概率:
- 策略
期望return:
- RL优化问题可以表示为:
,最优策略;
Value Functions
- value是知以指定状态,或状态-action为起始的期望回报 expected return ;
- The On-Policy Value Function:
- The On-Policy Action-Value Function:
- The Optimal Value Function,
:
- The Optimal Action-Value Function:
- 关系: