3. 强化学习之——无模型的价值函数估计和控制

目录

本次课程主要内容

回顾上次课讲的马尔科夫决策过程

探讨什么是 model-free 

Model-free prediction：未知 MDP 情况下的策略估计（值函数估计）

Model-free control：未知 MDP 情况下的值函数优化

---

本次课程主要内容

model-free prediction：估计一个未知 MDP 模型的 value function

model-free control：优化一个未知 MDP 模型的 value function

回顾上次课讲的马尔科夫决策过程

什么叫MDP已知：Agent 已知奖励函数 R 和状态转移矩阵 P，这也是我们进行策略迭代policy iteration和值迭代value iteration寻找最佳策略的基本要求

策略迭代包含：policy evaluation + policy improvement（在这两个过程中都需要 R 和 P）

值迭代包含：optimal policy + policy extract（这两个过程也都需要 R 和 P）

探讨什么是 model-free 

我们之前所做的策略迭代和值迭代其实并没有和环境去交互，已知 MDP 其实就相当于我已知环境的模型了，我知道环境会怎样去变化怎样影响我，所以我完全在脑子里面想就好了啊，相当于 Agent 找到了一个捷径。

但是在真正的实际问题中，我们的 MDP 并不已知或者太大了不能进行计算，这也就要求用 Model-free 的方法去求解。

Model-free 无法获得 R 和 P，但是通过 agent 与环境的交互可以获得一系列的包含每一时刻状态、和它采取的动作和获得的奖励的轨迹：

Agent 要做的就是从这个轨迹中获得的信息，然后改进自己的策略获得更多的奖励

 

Model-free prediction：未知 MDP 情况下的策略估计（值函数估计）

方法一：蒙特卡罗策略估计（Monte Carlo policy evaluation）

在某种策略下从某些状态开始进行轨迹的采样，最终可以获得很多轨迹，通过对轨迹中的获得的总回报求期望，最终得到的就是这个状态在这种策略下的价值函数

MC 方法不需要 MDP 的 dynamics 和 rewards，也不需要 dynamic programming 的那种 bootstrapping，也不要求状态的马尔科夫性。但是缺点是，由于是采样吗，所以轨迹不能够无限长。

MC 方法的算法流程为：

增量式 MC 方法算法流程：

DP（动态编程）方法 和 MC 方法在策略估计上的区别：

（1）对于 DP 方法