基于模型的强化学习

基于模型的强化学习

学习一个MDP模型

目前我们关注在给出一个已知MDP模型后，即状态转移 $P_{sa}(s^{\prime })$ 和奖励函数 $R(s)$ 明确给定后

• 计算最优价值函数
• 学习最优策略

在实际问题中，状态转移和奖励函数一般不是明确给出的

往往只能够看到一些片段episodes

Episode1: $s_0^{(1)}\stackrel{a_0^{(1)},R(s_0{)}^{(1)}}{\to }{s}_1^{(1)}\stackrel{a_1^{(1)},R(s_1{)}^{(1)}}{\to }{s}_2^{(1)}\stackrel{a_2^{(1)},R(s_2{)}^{(1)}}{\to }{s}_3^{(1)}\cdots s_T^{(1)}$

Episode2: $s_0^{(2)}\stackrel{a_0^{(2)},R(s_0{)}^{(2)}}{\to }{s}_1^{(2)}\stackrel{a_1^{(2)},R(s_1{)}^{(2)}}{\to }{s}_2^{(2)}\stackrel{a_2^{(2)},R(s_2{)}^{(2)}}{\to }{s}_3^{(2)}\cdots s_T^{(2)}$

从经验中学习一个MDP模型

• 学习状态转移概率 $P_{sa}(s^{\prime })$

$$P_{sa}(s^{\prime })=\frac{在s下采取动作a并转移到s^{\prime }的次数}{在s下采取动作a的次数}$$

• 学习奖励函数 $R(s)$ ，也就是立即奖赏期望

R ( s ) = a v e r a g e { R ( s ) ( i ) } R(s)=average\{R(s)^{(i)}\} R(s)=average{R(s)(i)}

学习模型&优化策略

算法实现

1. 随机初始化策略 $\pi$
2. 重复以下过程直到收敛
   1. 在MDP中执行 $\pi$ ，收集经验数据
   2. 使用MDP中的累积经验更新对 $P_{sa}$ 和 $R$ 的估计
   3. 利用对 $P_{sa}$ 和 $R$ 的估计执行价值迭代，得到新的估计价值函数 $V$
   4. 根据 $V$ 更新策略 $\pi$ 为贪心策略

基于模型的强化学习：
假设真实的环境是一个黑盒，这种学习的方式就是首先从真实环境中学习一个MDP模型，再进行价值迭代或者策略迭代学习最优策略，以此来解决没有MDP模型的问题。

模型无关的强化学习：
另一种解决方法是不学习MDP，从经验中直接学习价值函数和策略
即模型无关的强化学习(Model-free Reinforcement Learning)
直接从经验中去学习 $V(s)$ 和 $\pi$，而不是学习 $P_{sa}$ 和 $R$

一般RL(Reinforcement Learning)特指模型无关的强化学习，即直接从经验中学价值函数和策略

基于模型的强化学习业界一般叫做Planning或者Dynamic Programming

马尔可夫决策过程总结

• MDP由一个五元组构成 ( S , A , { P s a } , γ , R ) (S,A,\{P_{sa}\},\gamma,R) (S,A,{Psa​},γ,R) ，其中状态转移 $P$ 和奖励函数 $R$ 构成了动态系统
• 动态系统和策略交互的占用度量

$${\rho }^{\pi }(s,a)={\mathbb{E}}_{a\sim \pi (s),s^{\prime }\sim p(s,a)}\left[\sum _{t=0}^T{\gamma }^{t}p(s_t=s,a_t=a)\right]$$

• 一个白盒环境给定的情况下，可用动态规划的方法求解最优策略（值迭代和策略迭代）
• 如果环境是黑盒的，可以根据统计信息来拟合出动态环境 $P$ 和 $R$ ，然后做动态规划求解最优策略