蒙特卡洛方法求解强化学习任务——基于非试探性出发假设的蒙特卡洛控制

目录

上一节介绍了基于试探性出发假设的蒙特卡洛控制，本节将针对试探性出发假设带来的问题，如何绕过该假设的严苛条件，从而达到试探所有可能发生的状态-动作二元组的目标。

回顾：试探性出发假设的缺陷

在蒙特卡洛方法求解强化学习任务——蒙特卡洛评估基本介绍一节中提到，试探性出发假设在蒙特卡洛方法近似求解$q_{\pi }(s,a)$过程中保证了状态-动作二元组在被采样的情节集合中被访问到(存在非零概率将对应样本采样出来)。
但是，试探性出发假设的缺陷也是非常明显的：假设过强，对样本产生的约束性极高。

• 任意一个状态-动作二元组均以非零概率被采样；
• 被采样的状态-动作二元组作为某情节的起始点；

在真实环境条件下，试探性出发假设可能根本无法实现。

如何避免试探性出发假设

我们本质上的需求是任意一个状态-动作二元组能够在采样过程中以非零概率被选中，出现在样本集合内。从而实现对样本的蒙特卡洛操作(蒙特卡洛评估，控制)。

针对试探性出发假设在真实环境中不合理的情况，如何避免试探性出发假设，从而达到我们的需求？换句话说，我们希望智能体能够持续不断的选择所有可能的动作。

试探性出发假设的问题

回顾一下基于试探性出发假设的蒙特卡洛控制算法：

• 根据策略$\pi (s)$,生成一条情节序列；
  $$S_0,A_0,R_1,S_1,A_1,R_2,...,S_{T-1},A_{T-1}.R_T.S_T$$
• 遍历该情节序列，并计算回报结果：情节序列的每一步的回报结果(Return)都是一个样本，这些样本在不同的状态-动作二元组$(s,a)$中生效；
  $$G\leftarrow \gamma G+R_{t+1}$$
• 针对上述样本，使用增量更新方式对各状态-动作二元组$(s,a)$的状态-动作价值函数进行更新；
  Q ( S t , A t ) ← Q ( S t , A t