强化学习之蒙特卡洛方法

MC 预测：状态值

• 解决预测问题的算法会确定策略 \piπ 对应的值函数 v_\pivπ​（或 q_\piqπ​）。
• 通过与环境互动评估策略 \piπ 的方法分为两大类别：
  • 在线策略方法使智能体与环境互动时遵守的策略 \piπ 与要评估（或改进）的策略相同。
  • 离线策略方法使智能体与环境互动时遵守的策略 bb（其中 b\neq\pib≠π）与要评估（或改进）的策略不同。
• 状态 s\in\mathcal{S}s∈S 在某个阶段中的每次出现称为 ss 的一次经历。
• 有两种类型的蒙特卡洛 (MC) 预测方法（用于估算 v_\pivπ​）：
  • 首次经历 MC 将 v_\pi(s)vπ​(s) 估算为仅在 ss 首次经历之后的平均回报（即忽略与后续经历相关的回报）。
  • 所有经历 MC 将 v_\pi(s)vπ​(s) 估算为 ss 所有经历之后的平均回报。

MC 预测：动作值

• 状态动作对 s,as,a (s\in\mathcal{S},a\in\mathcal{A}s∈S,a∈A) 在某个阶段中的每次出现称为 s,as,a 的一次经历。
• 有两种类型的蒙特卡洛 (MC) 预测方法（用于估算 q_\piqπ​）：
  • 首次经历 MC 将 q_\pi(s,a)qπ​(s,a) 估算为仅在 s,as,a 首次经历之后的平均回报（即忽略与后续经历相关的回报）。
  • 所有经历 MC 将 q_\pi(s,a)qπ​(s,a) 估算为 s,as,a 所有经历之后的平均回报。

广义策略迭代

• 旨在解决控制问题的算法会通过与环境互动确定最优策略 \pi_*π∗​。
• 广义策略迭代 (GPI) 是指通过交替地进行策略评估和和改进步骤搜索最优策略的广义方法。我们在这门课程中讲解的所有强化学习方法都可以归类为 GPI。

MC 控制：增量均值

• （在此部分，我们推出了一个算法，该算法可以不断得出一系列数字的平均值。）

MC 控制：策略评估

• （在此部分，我们修改了策略评估步骤，在每个互动阶段结束后更新值函数。）

MC 控制：策略改进

• 如果对于每个状态 s\in\mathcal{S}s∈S，它保证会选择满足 a = \arg\max_{a\in\mathcal{A}(s)}Q(s,a)a=argmaxa∈A(s)​Q(s,a) 的动作 a\in\mathcal{A}(s)a∈A(s)，则策略相对于动作值函数估值 QQ 来说是贪婪策略。（通常将所选动作称之为贪婪动作。）
• 如果对于每个状态 s\in\mathcal{S}s∈S，策略相对于动作值函数估值 QQ 是 \epsilonϵ 贪婪策略。
  • 概率为 1-\epsilon1−ϵ 时，智能体选择贪婪动作，以及
  • 概率为 \epsilonϵ 时，智能体随机（均匀地）选择一个动作。

探索与利用

• 所有强化学习智能体都面临探索-利用困境，即智能体必须在根据当前信息采取最优动作（利用）和需要获取信息以做出更好的判断（探索）之间找到平衡。
• 为了使 MC 控制收敛于最优策略，必须满足有限状态下的无限探索贪婪算法 (GLIE) 条件：
  • 所有状态动作对 s, as,a（对于所有 s\in\mathcal{S}s∈S 和 a\in\mathcal{A}(s)a∈A(s)）被经历无穷次，以及
  • 策略收敛于相对于动作值函数估值 QQ 来说是贪婪策略的策略。

MC 控制：常量 α

• （在此部分，我们为常量 \alphaα MC 控制推出了一个算法，该算法使用了常量步长 \alphaα。）
• 步长参数 \alphaα 必须满足 0 < \alpha \leq 10<α≤1。\alphaα 值越大，学习速度越快，但是如果 \alphaα 的值过大，可能会导致 MC 控制无法收敛于 \pi_*π∗​。