每天一个RL基础理论(7)——总结篇

一、 Planning in MDP

关于该系列，每天一个RL基础理论(1-3)，前三篇文章提及的核心概念如下：

1. Bellman Optimality
   $$\begin{array}{rl}{V}^{\star }(s)& =\underset{a}{\max }\left[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(\cdot \mid s,a)}[V^{\star }(s^{\prime })]\right]\\ Q^{\star }(s,a)& =r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}\left[\underset{a^{\prime }}{\max }{Q}^{\star }(s^{\prime },a^{\prime })\right]\\ V^{\star }(s)& =\underset{a}{\max }{Q}^{\star }(s,a)\end{array}$$
2. Bellman Consistency Equation
   $$\begin{array}{rl}{V}^{\pi }(s)& ={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}\left[Q^{\pi }(s,a)\right]\text{(V-Q)}\\ Q^{\pi }(s,a)& =r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[V^{\pi }(s^{\prime })\right]\text{(Q-V)}\\ V^{\pi }(s)& ={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}\left[r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[V^{\pi }(s^{\prime })\right]\right]\text{(V-V)}\\ Q^{\pi }(s,a)& =r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[{\mathbb{E}}_{a^{\prime }\sim \pi (\cdot \mid s^{\prime })}\left[Q^{\pi }(s^{\prime },a^{\prime })\right]\right]\text{(Q-Q)}\end{array}$$
3. 构造的deterministic的optimal policy
   $$\tilde{\pi }(s)=\underset{a\in A}{\mathrm{argmax}}{\mathbb{E}}_{s_0=s,a_0=a}\left[r(s,a)+\gamma V^{\star }(s_1)\right]$$
4. Value Iteration，定义Bellman Optimality Operator为$\mathcal{B}Q(s,a):=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[{\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })]$
   $$\begin{array}{rl}& \text{VI迭代式：}{Q}_{n+1}(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[\underset{a^{\prime }}{\max }{Q}_n(s^{\prime },a^{\prime })]\forall s,a\in S\times A\\ & \text{B}的性质：\Vert \mathcal{B}Q(s,a)-\mathcal{B}{Q}^{\prime }(s,a){\Vert }_{\infty }\le \gamma \Vert Q(s,a)-Q^{\prime }(s,a){\Vert }_{\infty }\forall s,a\in S\times A\\ & \text{Q⋆}的性质:\mathcal{B}{Q}^{\star }=Q^{\star }\\ & \text{VI收敛速度}:||Q_n-Q^{\star }|{|}_{\infty }=||\mathcal{B}{Q}_{n-1}-\mathcal{B}{Q}^{\star }||\le \gamma ||Q_{n-1}-Q^{\star }||\le \cdots \le {\gamma }^n||Q_0-Q^{\star }|{|}_{\infty }\\ & \text{VI策略：}{\pi }_n(s)=\underset{a}{\mathrm{argmax}}{Q}_n(s,a)\\ & \text{VI策略性能}:V^{\star }(s)-V^{{\pi }_n}(s)\le \frac{2{\gamma }^n}{1-\gamma }||Q_0-Q^{\star }|{|}_{\infty }\le \frac{2}{1-\gamma }\times \frac{\exp (-(1-\gamma )n)}{1-\gamma }\le ϵ\end{array}$$

• $\mathcal{B}$操作的对象是Q函数内的元素$s,a$，$\Vert {\Vert }_{\infty }$是函数的度量;
• $\Vert Q(s,a)-Q^{\prime }(s,a){\Vert }_{\infty }$直观上这说的是，$Q与Q^{\prime }$两个函数的距离是$\infty \text{-norm}$，是worst-case pointwise的；
• 经过$\mathcal{B}$操作后，Q函数这个映射在$(s,a)$空间上变得更为紧凑
• VI收敛速度是$O(\frac{{\gamma }^n}{1-\gamma })$，迭代$n\ge \frac{\ln \frac{2}{ϵ(1-\gamma {)}^2}}{1-\gamma }$步后得到的策略${\pi }_n$是$ϵ-optimal$的，即$V^{{\pi }_n}(s)-V^{\star }(s)\le ϵ\forall s$

5. Policy Iteration
   $$\begin{array}{rl}& \text{Policy Evaluation(Q-version)}：Q^{{\pi }_n}(s,a)=(I-\gamma P^{{\pi }_n}{)}^{-1}r\forall s,a\\ & \text{Policy Evaluation(V-version)}：V^{\pi }(s)={\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,\pi (s))}\left[r(s,\pi (s))+\gamma V^{\pi }(s^{\prime })\right]=(I-\gamma P_{\pi }{)}^{-1}r\forall s\\ & \text{Policy Improvement}：{\pi }_{n+1}(s)=\underset{a}{\mathrm{argmax}}{Q}^{{\pi }_n}(s,a)=\underset{a}{\mathrm{argmax}}r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}[V^{{\pi }_n}(s^{\prime })]\forall s\\ & \text{PI收敛速度：}\Vert V^{{\pi }_{n+1}}(s)-V^{\star }(s){\Vert }_{\infty }\le \gamma \Vert V^{{\pi }_n}(s)-V^{\star }(s){\Vert }_{\infty }\end{array}$$

• 在$\pi$是deterministic的情况下，由Bellman Consistency有$V^{\pi }(s)=Q^{\pi }(s,\pi (s))=r(s,\pi (s))+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,\pi (s))}[V^{\pi }(s^{\prime })]=r(s,\pi (s))+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,\pi (s))}[Q^{\pi }(s^{\prime },\pi (s^{\prime })]$
• PI使用了Bellman Consistency进行Policy Evaluation，VI使用了Bellman Optimality进行迭代，两者均使用了greedy policy即$\pi (s)=\underset{a}{\mathrm{argmax}}{Q}^{{\pi }_n}(s,a)$
• 值得注意的是，这里没有与环境进行交互的概念，因为转移矩阵$P$是已知的

6. Connection

• 策略性能由$V^{\star }(s)-V^{{\pi }_n}(s)$这衡量，有个通用的performance lemma：$$V^{{\pi }^{\prime }}(s_0)-V^{\pi }(s_0)=\frac{1}{1-\gamma }{\mathbb{E}}_{s,a\sim d_{s_0}^{{\pi }^{\prime }}}[Q^{\pi }(s,a)-V^{\pi }(s)]=\frac{1}{1-\gamma }{\mathbb{E}}_{(s,a)\sim d_{s_0}^{{\pi }^{\prime }}(s,a)}[A^{\pi }(s,a)]$$
• 由$V^{\star }(s)-V^{{\pi }_n}(s)\le \frac{2}{1-\gamma }||Q^{{\pi }_n}-Q^{\star }|{|}_{\infty }=\frac{2}{1-\gamma }||Q_n-Q^{\star }|{|}_{\infty }\le \frac{2{\gamma }^n}{1-\gamma }\Vert Q_0-Q^{\star }\Vert$可知策略性能与Q值之间的关系，即只需要bound住$\Vert Q^{{\pi }_n}-Q^{\star }\Vert \le ϵ$，则有：
  $$V^{\star }(s)-V^{{\pi }_n}(s)\le \frac{2ϵ}{1-\gamma }$$于是只需要关心bound住Q值，便能bound住策略的性能

二、Sample Complexity

样本复杂度的探究，是非常取决于问题本身的，这什么意思呢？

1. 如果问题的状态空间很大，如高维continuous，那么complexity中与状态相关量$|S|$的量级越低越好
2. 如果问题的序列长度很长，如infinite，那么complexity中与序列长度horizon相关量$|H|$的量级越低越好
3. 动作空间同理

其次，样本复杂度肯定也跟特定的算法相关。

每天一个RL基础理论(4-6)这三篇文章回答的问题是：

在Generative Model这种交互方式下，tabular MDP的setting下，对环境进行建模$\hat{P}$，使用VI或PI算法，至少需要多少样本才能得到一个$ϵ-optimal$的策略$\pi$，即$V^{\pi }(s)-V^{\star }(s)\le ϵ$

2.1 基本的setting

一般情况下，关于环境的dynamics即转移矩阵transition model $P$都是未知的。因此与环境交互的方式，决定了不同的样本复杂度。

1. Generative model：均匀交互假设，我们可以在整个状态动作的联合空间均匀的访问，向环境输入具体的$(s,a)$得到$s^{\prime }$，然后reset，这样巧妙地规避了exploration&exploitation的问题（知道了整个状态动作空间的reward所在）
2. $\mu -reset$：在特定的状态分布$\mu (s)$上可以进行reset，根据当前策略$\pi$选择动作，然后与环境交互，得到轨迹（只能知道受限的状态动作空间的reward所在）
3. Exploration：需要在整个状态空间探索reward所在

2.2 基本公式

2.2.1 Simulation Lemma

$$\begin{array}{rl}{Q}^{\pi }-{\hat{Q}}^{\pi }& ={\left(I-\gamma P^{\pi }\right)}^{-1}r-{\left(I-\gamma {\hat{P}}^{\pi }\right)}^{-1}r\\ & ={\left(I-\gamma {\hat{P}}^{\pi }\right)}^{-1}\left((I-\gamma {\hat{P}}^{\pi })(I-\gamma P^{\pi }{)}^{-1}-I\right)r\\ & ={\left(I-\gamma {\hat{P}}^{\pi }\right)}^{-1}\left((I-\gamma {\hat{P}}^{\pi })-(I-\gamma P^{\pi })\right)(I-\gamma P^{\pi }{)}^{-1}r\\ & ={\left(I-\gamma {\hat{P}}^{\pi }\right)}^{-1}\left(\left(I-\gamma {\hat{P}}^{\pi }\right)-\left(I-\gamma P^{\pi }\right)\right)Q^{\pi }\\ & =\gamma {\left(I-\gamma {\hat{P}}^{\pi }\right)}^{-1}\left(P^{\pi }-{\hat{P}}^{\pi }\right)Q^{\pi }\\ & =\gamma {\left(I-\gamma {\hat{P}}^{\pi }\right)}^{-1}(P-\hat{P})V^{\pi }\end{array}$$

$$\begin{array}{rl}{Q}^{\pi }-{\hat{Q}}^{\pi }& ={\left(I-\gamma P^{\pi }\right)}^{-1}r-(I-\gamma {\hat{P}}^{\pi }{)}^{-1}r\\ & =(I-\gamma P^{\pi }{)}^{-1}\left(I-(I-\gamma P^{\pi })(I-\gamma {\hat{P}}^{\pi }{)}^{-1}\right)r\\ & =(I-\gamma P^{\pi }{)}^{-1}\left((I-\gamma {\hat{P}}^{\pi })-(I-\gamma P^{\pi })\right)(I-\gamma {\hat{P}}^{\pi }{)}^{-1}r\\ & =\gamma (I-\gamma P^{\pi }{)}^{-1}(P^{\pi }-{\hat{P}}^{\pi }){\hat{Q}}^{\pi }\\ & =\gamma (I-\gamma P^{\pi }{)}^{-1}(P-\hat{P}){\hat{V}}^{\pi }\end{array}$$

特点是策略相同，Q不同；而Q的不同之处在于P还是$\hat{P}$，只与simulator有关，所以称为Simulation Lemma

2.2.2 Component-wise bound

$$\gamma (I-\gamma {\hat{P}}^{{\hat{\pi }}^{\star }}{)}^{-1}\left(P-\hat{P}\right)V^{\star }\le Q^{\star }-{\hat{Q}}^{\star }\le \gamma {\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}(P-\hat{P})V^{\star }$$

2.2.3 Bellman Variance Equation

定义：
$${\Sigma }_M^{\pi }(s,a)={\mathbb{E}}_{\pi ,P}\left[{\left(\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)-Q_M^{\pi }(s,a)\right)}^2|s_0=s,a_0=a\right]$$$$Q_M^{\pi }(s,a)={\mathbb{E}}_{\pi ,P}\left[\sum _{h=0}^{\infty }{\gamma }^{h}r(s_h,a_h)|s_0=s,a_0=a\right]$$$${\text{Var}}_P(Q_M^{\pi })(s,a)={\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}\left[{\left(Q_M^{\pi }(s^{\prime },a^{\prime })-{\mathbb{E}}_{s^{\prime \prime }\sim p(\cdot \mid s,a),a^{\prime \prime }\sim \pi (\cdot |s^{\prime \prime })}\left[Q_M^{\pi }(s^{\prime \prime },a^{\prime \prime })\right]\right)}^2\right]$$

于是有Bellman-style相关的equation：
$${\Sigma }_M^{\pi }={\gamma }^2({\text{Var}}_P(Q_M^{\pi })+P^{\pi }{\Sigma }_M^{\pi })$$

2.3 目标分析

2.3.1 两个目标value estimation&sub-optimality

1. 第一个分析的目标是Value Estimation $\Vert {\hat{Q}}^{\star }-Q^{\star }{\Vert }_{\infty }$，分别是两个MDP的最优Q值函数，即$\hat{\mathcal{M}}=(S,A,r,\hat{P},\gamma )$与$\mathcal{M}=(S,A,r,P,\gamma )$
2. 对于一个点$(s,a)$而言，$\Vert {\hat{Q}}^{\star }-Q^{\star }{\Vert }_{\infty }$可写为$${\hat{Q}}^{\star }(s,a)-Q^{\star }(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim \hat{p}(\cdot |s,a)}[\hat{Q}(s^{\prime },{\hat{\pi }}^{\star }(s^{\prime }))]-r(s,a)-\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}[Q(s^{\prime },{\pi }^{\star }(s^{\prime }))]$$
3. 所以Value Estimation是说，建模的MDP的最优Q值，离真实MDP的最优Q值有多远？
4. 第二个分析目标是Sub-Optimality$\Vert Q^{\widehat{{\pi }^{\star }}}-Q^{\star }{\Vert }_{\infty }$，从$\hat{\mathcal{M}}=(S,A,r,\hat{P},\gamma )$学习到的最优策略${\hat{\pi }}^{\star }$在真实MDP对应的Q值，离最优Q值有多远？

2.3.2 初衷

• 出发点：Sample Complexity的初衷是从建模的MDP$\hat{\mathcal{M}}=(S,A,r,\hat{P},\gamma )$中使用某个强化算法如VI迭代出一个策略$\widehat{{\pi }_n}$，然后希望这个策略与真实的策略${\pi }^{\star }$相近
• generative model是一个很强的assumption，希望在该assumption下有一个比较好的sample complexity bound，然后逐步弱化它，变成$\mu -reset$以及exploration的assumption
• 所以现实的目标是$\Vert {\hat{Q}}^{{\hat{\pi }}_n}-Q^{\star }{\Vert }_{\infty }$，作如下小放缩：$$\Vert Q^{\star }-{\hat{Q}}^{{\hat{\pi }}_n}{\Vert }_{\infty }\le \Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }+\Vert {\hat{Q}}^{\star }-{\hat{Q}}^{{\hat{\pi }}_n}{\Vert }_{\infty }$$
• 放缩后的$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }$为value estimation，$\Vert {\hat{Q}}^{\star }-{\hat{Q}}^{{\hat{\pi }}_n}{\Vert }_{\infty }$为某个强化算法在$\hat{\mathcal{M}}=(S,A,r,\hat{P},\gamma )$中的optimization error
• sub-optimality这个目标，通过恒等变形也同样会出现value estimation的目标，另一项可用simulation lemma进行放缩，因此我们把关注点放在了value estimation上$$\begin{array}{rl}{Q}^{\widehat{{\pi }^{\star }}}-Q^{\star }& ={\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[Q(s^{\prime },\widehat{{\pi }^{\star }}(s^{\prime }))-Q(s^{\prime },{\pi }^{\star }(s^{\prime }))\right]\\ & ={\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[Q(s^{\prime },\widehat{{\pi }^{\star }}(s^{\prime }))-\hat{Q}(s^{\prime },\widehat{{\pi }^{\star }}(s^{\prime }))+\hat{Q}(s^{\prime },\widehat{{\pi }^{\star }}(s^{\prime }))-Q(s^{\prime },{\pi }^{\star }(s^{\prime })\right]\\ & ={\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[Q^{\widehat{{\pi }^{\star }}}-\hat{Q^{\widehat{{\pi }^{\star }}}}+\widehat{Q^{\star }}-Q^{\star }\right]\\ & \text{ (前者同一策略不同Q函数可用simulation lemma，后者为value estimation，期望可小于等于最大值点)}\end{array}$$

三、Sample Complexity的三篇文章

它们的Setting、Algorithms、Assumption是完全相同的，不同的是sample complexity的bound

1. Setting是infinite horizon discounted MDP
2. Algorithms使用的Value Iteration & Policy Iteration
3. Assumption是generative model，即均匀交互假设，对转移矩阵进行建模$$\hat{P}(s^{\prime }\mid s,a)=\frac{\#(s^{\prime },s,a)}{N}$$

3.1 Naive Model-based Approach

出发点是希望通过bound住两个不同MDP下的所有策略（Uniform Value Accuracy），来达到bound住value estimation的目标$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }$

证明可见每天一个RL基础理论(4)——Sample Complexity(上）

整体命题如下：

在均匀交互假设前提下，$ϵ\in (0,\frac{1}{1-\gamma })$，$\exists c>0$，如果$$|S||A|N\ge \frac{\gamma }{(1-\gamma {)}^4}\frac{|S{|}^2|A|\log (\frac{c|S||A|}{\delta })}{{ϵ}^2}$$则有$\ge 1-\delta$的概率有如下命题成立：

1. (Model Accuracy) ：衡量真实transition matrix 与 transition model的差异
   $$\underset{s,a}{\max }||P(\cdot |s,a)-\hat{P}(\cdot |s,a)|{|}_1\le (1-\gamma {)}^2ϵ$$
2. (Uniform Value Accuracy)：衡量策略$\pi$的真实Q值与建模MDP得到的Q值的差异，对于$\forall \pi \in \Pi$有
   $$||Q^{\pi }-{\hat{Q}}^{\pi }|{|}_{\infty }\le ϵ$$
3. (Near Optimal Planning)：前者衡量$\mathcal{M}\&\hat{\mathcal{M}}$得到最优Q值的差异，后者衡量$\mathcal{M}\&\hat{\mathcal{M}}$得到最优策略$\widehat{{\pi }^{\star }}\&{\pi }^{\star }$在真实Q值的差异，其中$\widehat{{\pi }^{\star }}$为在$\hat{\mathcal{M}}$上得到的最优策略，$\widehat{Q^{\star }}$为在$\hat{\mathcal{M}}$上得到的最优Q值函数
   $$||\widehat{Q^{\star }}-Q^{\star }|{|}_{\infty }\le ϵ,||Q^{\widehat{{\pi }^{\star }}}-Q^{\star }|{|}_{\infty }\le 2ϵ$$

3.2 Generative model-based Approach

出发点是希望直接bound住value estimation的目标$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }$，而不管算法迭代过程中策略的误差，只关心结果，过程不重要。

1. 在每天一个RL基础理论(5)——Sample Complexity(中），介绍了simulation lemma的证明以及component-wise bound
2. 在每天一个RL基础理论(6)——Sample Complexity(下），介绍了第一种得到bound的方法为直接用Hoeffding inequality对目标上界的简单放缩，第二种方法为用Bellman variance equation对目标上界进行变化后，再用Bernstein inequality进行放缩来得到更紧致的bound

整体命题如下：

• (Value estimation)在$ϵ\le 1$下，如果
  $$总的样本复杂度=|S||A|N\ge \frac{c|S||A|}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{{ϵ}^2}$$则在$1-\delta$概率下有：
  $$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }\le ϵ$$
• Sub-Optimality在$ϵ\le \sqrt{\frac{1}{1-\gamma }}$下，如果$$总的样本复杂度=|S||A|N\ge \frac{c|S||A|}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{{ϵ}^2}$$则在$1-\delta$概率下有：
  $$\Vert Q^{\star }-Q^{{\hat{\pi }}^{\star }}{\Vert }_{\infty }\le ϵ$$

• 简单看naive model-based的sample complexity bound，与effective horizon $\frac{1}{1-\gamma }$呈四次方，与任务复杂度即状态动作空间呈$O(|S{|}^2|A|\ln |S||A|)$的关系
• generative model-based的sample complexity bound，与effective horizon $\frac{1}{1-\gamma }$呈三次方，与任务复杂度即状态动作空间呈$O(|S||A|\ln |S||A|)$的关系

四、后续的理论怎么走？

这个sample complexity bound的前置条件：

1. Setting是infinite horizon discounted MDP
2. Algorithms使用的Value Iteration & Policy Iteration
3. Assumption是generative model，即均匀交互假设，对转移矩阵进行建模$$\hat{P}(s^{\prime }\mid s,a)=\frac{\#(s^{\prime },s,a)}{N}$$

理论问题：

• 如果环境不支持均匀交互假设即generative model，那么在$\mu -reset$或exploration下，什么样的算法比较紧的sample complexity bound的保证？
• 如果状态空间很大，是高维连续的，现在这个bound中有$O(|S||A|\ln |S||A|)$，能不能有别的算法降低一下对$|S|$的依赖？
• 现在使用的算法非常naive，是value iteration或policy iteration，可以说是tabular MDP，如$\text{VI迭代式：}{Q}_{n+1}(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[{\max }_{a^{\prime }}{Q}_n(s^{\prime },a^{\prime })]\forall s,a\in S\times A$，如果状态动作空间是无穷维的，这VI迭代式怎么表示Q函数？怎么更新Q函数？

救命。太多变化了。所以下一步在逐步扩充这个naive的setting、assumption、algorithm及其得到的结果，并给出扩充后的理论保证

简单总结一下

我们walk through了最最最简单的问题setting：

1. Infinite horizon discounted 且是Tabular的MDP
2. VI或PI算法
3. Generative Model的交互假设，回避了exploration的问题

在该setting下的理论结果：

• VI&PI算法的收敛性证明、收敛速度、计算复杂度computational complexity
• VI&PI在generative model下能得到$ϵ-optimal$策略的sample complexity bound