每天一个RL基础理论(6)——Sample Complexity(下）

• 搬砖来源：https://wensun.github.io/CS6789_fall_2021.html
• 细节来源：Model-Based Reinforcement Learning with a Generative Model is Minimax Optimal 2020 JMLR
• 主题：经典方法VI&PI在转移矩阵未知情况下，使用经典算法VI&PI达到near-optimal policy所需的样本复杂度
• setting：infinite horizon discounted MDP / unknown transition probability / deterministic reward / deterministic policy
• 解决的问题：给定$\mathcal{M}=(S,A,P,r,\gamma )$，其中转移矩阵$P$未知，经典方法VI&PI需要多少的样本(transitions$(s,a,r,s^{\prime })$)才能学习到near optimal的策略(deterministic & stationary)？
• 使用的理论工具：Statistics Theory

前情提要

$$\begin{array}{rl}& Q^{\star }-{\hat{Q}}^{\star }\le \gamma {\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}(P-\hat{P})V^{{\pi }^{\star }}\\ & Q^{\star }-{\hat{Q}}^{\star }\le \gamma {\left(I-\gamma P^{{\pi }^{\star }}\right)}^{-1}(P-\hat{P}){\hat{V}}^{{\pi }^{\star }}\end{array}$$

• 第一个问题：寻找与$(P-\hat{P})V^{{\pi }^{\star }}$或$(P-\hat{P}){\hat{V}}^{{\pi }^{\star }}$相关的公式进行上界放缩
• 第二个问题：寻找${\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}$或${\left(I-\gamma P^{{\pi }^{\star }}\right)}^{-1}$相关的公式进行上界放缩

一、介绍这两个问题相关的公式

1.1 Discounted Bellman-variance Equation

学习并理解一个基础公式，称为Bellman-variance equation：$${\Sigma }_M^{\pi }={\gamma }^2({\text{Var}}_P(Q_M^{\pi })+P^{\pi }{\Sigma }_M^{\pi })$$

1. 定义1：在某个MDP即$\mathcal{M}=(S,A,P,r,\gamma )$上，对于一个stationary的策略$\pi$，定义variance of discounted cumulated reward为
   $${\Sigma }_M^{\pi }(s,a)={\mathbb{E}}_{\pi ,P}\left[{\left(\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)-Q_M^{\pi }(s,a)\right)}^2|s_0=s,a_0=a\right]$$$$Q_M^{\pi }(s,a)={\mathbb{E}}_{\pi ,P}\left[\sum _{h=0}^{\infty }{\gamma }^{h}r(s_h,a_h)|s_0=s,a_0=a\right]$$

• 本质上来看，${\Sigma }_M^{\pi }(s,a)$的定义是trajectory distribution与state-action distribution的交锋。
• $Q^{\pi }$是一个以$(s,a)$开始累积reward的期望，是所有轨迹的平均值，是一个点；${\sum }_{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)$是具体的以$(s,a)$开始一条轨迹的累积reward，一条轨迹一个点，有很多点
• ${\Sigma }_M^{\pi }(s,a)$这个variance衡量的是策略$\pi$与转移矩阵的randomness，如果$\pi$很确定，那么randomness大部分来自环境，这时若${\Sigma }_M^{\pi }(s,a)$此时很大，意味着从当前的(s,a)出发，环境的随机性很大。如果转移矩阵$P$很确定，那么randomness大部分来自策略，这时若${\Sigma }_M^{\pi }(s,a)$此时很大，意味着从当前的(s,a)出发，策略的随机性很大

2. 定义2：在某个MDP即$\mathcal{M}=(S,A,P,r,\gamma )$上，对于一个stationary的策略$\pi$，定义关于映射$V$，经过一步转移$s^{\prime }\sim p(\cdot \mid s,a)$的方差
   $${\text{Var}}_P(V_M^{\pi })(s,a)={\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[{\left(V_M^{\pi }(s^{\prime })-{\mathbb{E}}_{s^{\prime \prime }\sim p(\cdot \mid s,a)}\left[V_M^{\pi }(s^{\prime \prime })\right]\right)}^2\right]$$
   同理有关于映射$Q$，经过一步转移后的累积方差
   $${\text{Var}}_P(Q_M^{\pi })(s,a)={\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}\left[{\left(Q_M^{\pi }(s^{\prime },a^{\prime })-{\mathbb{E}}_{s^{\prime \prime }\sim p(\cdot \mid s,a),a^{\prime \prime }\sim \pi (\cdot |s^{\prime \prime })}\left[Q_M^{\pi }(s^{\prime \prime },a^{\prime \prime })\right]\right)}^2\right]$$且这两者实际上是恒等的，即${\text{Var}}_P(V_M^{\pi })(s,a)={\text{Var}}_P(Q_M^{\pi })(s,a)$

利用矩阵操作符更进一步地简写关于V和Q映射的方差，操作的点是$(s,a)$所处空间：（利用方差公式$\text{Var}X=\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2$）
$${\text{Var}}_P(V_M^{\pi })=P(V_M^{\pi }{)}^2-(P{V}_M^{\pi }{)}^2$$其中$(\cdot {)}^2$是element-wise的平方，而不是对整个$V$向量的平方，同理有
$${\text{Var}}_P(Q_M^{\pi })=P^{\pi }(Q_M^{\pi }{)}^2-(P^{\pi }{Q}_M^{\pi }{)}^2$$
3. 轨迹累积reward的方差${\Sigma }_M^{\pi }(s,a)$与一步转移方差${\text{Var}}_P(V_M^{\pi })$的关系：$${\Sigma }_M^{\pi }={\gamma }^2({\text{Var}}_P(Q_M^{\pi })+P^{\pi }{\Sigma }_M^{\pi })$$

在证明之前先看个简写的结论：（为了理解期望下标是什么,$s_1,a_1$是变量）

$$\begin{array}{rl}& {\mathbb{E}}_{s_1,a_1,P^{\pi }}\left[\sum _{t=1}^{\infty }{\gamma }^{t}r(s_t,a_t)-\gamma Q^{\pi }(s_1,a_1)\right]\\ & ={\mathbb{E}}_{s_1,a_1,P^{\pi }}\left[\sum _{t=1}^{\infty }{\gamma }^{t}r(s_t,a_t)-\gamma \left[r(s_1,a_1)+\gamma {\mathbb{E}}_{P^{\pi }(s_2,a_2|s_1,a_1)}[r(s_2,a_2)+\cdots ]\right]\right]\\ & =0\end{array}$$

证明：对于一个(s,a)有

$$\begin{array}{rl}{\Sigma }_M^{\pi }(s,a)& ={\mathbb{E}}_{\pi ,P}\left[{\left(\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)-Q_M^{\pi }(s,a)\right)}^2|s_0=s,a_0=a\right]\\ & ={\mathbb{E}}_{s_0=s,a_0=a,P^{\pi }}\left[{\left(\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)-Q_M^{\pi }(s,a)\right)}^2\right]\\ & ={\mathbb{E}}_{s_0=s,a_0=a,P^{\pi }}\left[{\left(\sum _{t=1}^{\infty }{\gamma }^{t}r(s_t,a_t)+r(s,a)-Q_M^{\pi }(s,a)\right)}^2\right]\\ & ={\mathbb{E}}_{s_0=s,a_0=a,P^{\pi }}\left[{\left(\sum _{t=1}^{\infty }{\gamma }^{t}r(s_t,a_t)-\gamma Q^{\pi }(s_1,a_1)-(Q_M^{\pi }(s,a)-r(s,a)-\gamma Q^{\pi }(s_1,a_1))\right)}^2\right]\\ & ={\mathbb{E}}_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(\sum _{t=1}^{\infty }{\gamma }^{t}r(s_t,a_t)-\gamma Q^{\pi }(s_1,a_1){)}^2\right]+E_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(Q_M^{\pi }(s,a)-r(s,a)-\gamma Q^{\pi }(s_1,a_1){)}^2\right]\\ & -2E_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(\sum _{t=1}^{\infty }{\gamma }^{t}r(s_t,a_t)-\gamma Q^{\pi }(s_1,a_1))(Q_M^{\pi }(s,a)-r(s,a)-\gamma Q^{\pi }(s_1,a_1))\right]\text{(该项为0)}\\ & ={\mathbb{E}}_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(\sum _{t=1}^{\infty }{\gamma }^{t}r(s_t,a_t)-\gamma Q^{\pi }(s_1,a_1){)}^2\right]+E_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(Q_M^{\pi }(s,a)-r(s,a)-\gamma Q^{\pi }(s_1,a_1){)}^2\right]\\ & ={\gamma }^2{\mathbb{E}}_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(\sum _{t=1}^{\infty }{\gamma }^{t-1}r(s_t,a_t)-Q^{\pi }(s_1,a_1){)}^2\right]+E_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(Q_M^{\pi }(s,a)-r(s,a)-\gamma Q^{\pi }(s_1,a_1){)}^2\right]\\ & ={\gamma }^2{P}^{\pi }{\Sigma }_M^{\pi }+{\gamma }^2{\text{Var}}_P(Q_M^{\pi })\end{array}$$

• $Q^{\pi }(s_1,a_1)=r(s_1,a_1)+\gamma {\mathbb{E}}_{P^{\pi }(s_2,a_2|s_1,a_1)}[Q^{\pi }(s_2,a_2)]$
• $Q^{\pi }(s,a)=r(s,a)+\gamma {\mathbb{E}}_{P^{\pi }(s_1,a_1|s,a)}[Q^{\pi }(s_1,a_1)]$
• 这是为了完整展开最后一步这项$E_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[(Q_M^{\pi }(s,a)-r(s,a)-\gamma Q^{\pi }(s_1,a_1){)}^2\right]=E_{P^{\pi }(s_1,a_1|s,a),P^{\pi }}\left[\gamma {\mathbb{E}}_{P^{\pi }(s_2,a_2|s_1,a_1)}[Q^{\pi }(s_2,a_2)]-\gamma Q^{\pi }(s_1,a_1)\right]$满足Q一步转移方差的定义

1.2 Hoeffding‘s inequality

参考：A Gentle Introduction to Concentration Inequalities
具体证明过程用到统计学习理论：马尔可夫不等式——切比雪夫不等式——矩母函数MGF——大数定理，得到常用的Hoeffding不等式：

假设有一系列的有界的随机变量$Z_1,...,Z_N,Z_i\in [a_i,b_i]$，对$\forall t>0$有：
$$\mathrm{Pr}(|\frac{1}{N}\sum _{i=1}^N{Z}_i-\mathbb{E}Z|\ge t)\le 2\exp (-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2})$$

1.3 Bernstein’s inequality

参考：A Gentle Introduction to Concentration Inequalities
假设有一系列的有界独立的随机变量$Z_1,...,Z_N,\mathbb{E}{Z}_i=0,|Z_i|\le l,{\sigma }^2=\frac{1}{n}{\sum }_{i=1}^n\text{Var}(Z_i)$，则对$\forall t>0$有：
$$\mathrm{Pr}(\frac{1}{n}\sum _{i=1}^n{Z}_i\ge t)\le \exp (-\frac{n{t}^2}{2{\sigma }^2+\frac{2lt}{3}})$$

二、回到目标上界的分析

目标是找Q值差异的上界，这个上界(state，action)处的样本数N相关。
目标：$Q^{\star }-{\hat{Q}}^{\star }\le \gamma {\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}(P-\hat{P})V^{{\pi }^{\star }}$

这里主要是两个思路：

1. 对$(P-\hat{P})V^{{\pi }^{\star }}$使用Hoeffding + 利用${\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}$的值域进行简单放缩
2. 对$(P-\hat{P})V^{{\pi }^{\star }}$使用Bernstein + 使用Bellman-variance equation处理${\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}$

2.1 使用Hoeffding进行放缩

1. 在上一篇文章Sample Complexity(中)已知，对于所有策略$\pi$有：
   $$\Vert (I-\gamma P^{\pi }{)}^{-1}v{\Vert }_{\infty }\le \frac{\Vert v{\Vert }_{\infty }}{1-\gamma }$$
2. 所以相当于直接取$(I-\gamma {\hat{P}}^{{\pi }^{\ast }}{)}^{-1}$的最大值，即
   $$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }\le \frac{\gamma }{1-\gamma }\Vert (P-\hat{P})V^{{\pi }^{\star }}{\Vert }_{\infty }$$
3. 完整写开$\Vert (P-\hat{P})V^{{\pi }^{\star }}{\Vert }_{\infty }$如下：
   $$\Vert (P-\hat{P})V^{{\pi }^{\star }}{\Vert }_{\infty }=\underset{s,a}{\max }\left|{\mathbb{E}}_{s^{\prime }\sim P(\cdot |s,a)}[V^{\star }(s^{\prime })]-{\mathbb{E}}_{s^{\prime }\sim \hat{P}(\cdot |s,a)}[V^{\star }(s^{\prime })]\right|$$
4. 其中$\hat{P}(s^{\prime }\mid s,a)=\frac{\#(s^{\prime },s,a)}{N}$，所以有：
   $$\left|{\mathbb{E}}_{s^{\prime }\sim P(\cdot |s,a)}[V^{\star }(s^{\prime })]-{\mathbb{E}}_{s^{\prime }\sim \hat{P}(\cdot |s,a)}[V^{\star }(s^{\prime })]\right|=\left|\sum _{s^{\prime }}(p(s^{\prime }|s,a)-\frac{\#(s^{\prime },s,a)}{N})V^{\star }(s^{\prime })\right|$$
5. 由Hoeffding inequality，可知对于一个(s,a)确定的向量$P(\cdot |s,a)$，可看作一个多维变量$X$，有
   $$\mathrm{Pr}(p(\cdot |s,a)-\frac{\#(s^{\prime },s,a)}{N}\ge t)\le 2\exp (-2N{t}^2)$$
6. 因此对于所有可能的$(s,a)$构成的矩阵都需要满足上述的约束，才有
   $$\mathrm{Pr}(\Vert (P-\hat{P})\Vert \ge t)\le 2|S||A|\exp (-2N{t}^2)$$
7. 令$\delta =2|S||A|\exp (-2N{t}^2)$，解得$t=\sqrt{\frac{2\ln \frac{|S||A|}{\delta }}{N}}$，因此至少有$1-\delta$的概率有如下不等式成立
   $$\Vert (P-\hat{P})\Vert \le \sqrt{\frac{2\ln \frac{|S||A|}{\delta }}{N}}$$
8. 所以，因为$\Vert V\Vert \le \frac{1}{1-\gamma }$，所以至少有$1-\delta$的概率有$$\Vert (P-\hat{P})V^{{\pi }^{\star }}{\Vert }_{\infty }\le \frac{1}{1-\gamma }\sqrt{\frac{2\ln \frac{|S||A|}{\delta }}{N}}$$
9. 最后有$1-\delta$的概率，有如下成立$$Q^{\star }-{\hat{Q}}^{\star }\le \gamma {\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}(P-\hat{P})V^{{\pi }^{\star }}\le \frac{\gamma }{(1-\gamma {)}^2}\sqrt{\frac{2\ln \frac{|S||A|}{\delta }}{N}}$$

这个是upper bound，关注点是称为effective horizon的$\frac{1}{1-\gamma }$，是其平方项，下面使用了相关等式的放缩会更加紧致，这个紧致是相对于N来说的

总算用样本bound住了!这个statisticscal error 加上之前的optimization error就ok了！

2.2 使用Bernstein进行放缩

1. 由Bellman-variance equation即${\Sigma }_M^{\pi }={\gamma }^2({\text{Var}}_P(V_M^{\pi })+P^{\pi }{\Sigma }_M^{\pi })$，可解得：
   $${\Sigma }_M^{\pi }=(I-{\gamma }^2{P}^{\pi }{)}^{-1}{\gamma }^2{\text{Var}}_P(V_M^{\pi })$$

这回答了第二个问题：寻找${\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}$或${\left(I-\gamma P^{{\pi }^{\star }}\right)}^{-1}$相关的公式

2. 对$\Vert (P-\hat{P})V^{{\pi }^{\star }}\Vert$使用Bernstein inequality有
   $$\Vert (P-\hat{P})V^{{\pi }^{\star }}\Vert \le \sqrt{\frac{2\ln \frac{|S||A|}{\delta }}{N}}\sqrt{{\text{Var}}_P(V^{\ast })}+\frac{1}{1-\gamma }\frac{2\ln 2\frac{|S||A|}{\delta }}{3N}$$
3. 取dominant的量级，因此有
   $$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }\le \gamma \sqrt{\frac{2\ln \frac{|S||A|}{\delta }}{N}}\sqrt{\Vert (I-\gamma {\hat{P}}^{{\pi }^{\star }}{)}^{-1}{\text{Var}}_P(V^{\ast }){\Vert }_{\infty }}$$
4. 可由Bellman variance equation推得：
   $$\Vert (I-\gamma {\hat{P}}^{{\pi }^{\star }}{)}^{-1}{\text{Var}}_P(V^{\ast }){\Vert }_{\infty }\le \sqrt{\frac{2}{(1-\gamma {)}^3}}$$
5. 因此，把常数项用c简写为
   $$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }\le \gamma \sqrt{\frac{c}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{N}}+\frac{c}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{N}$$

2.3 样本复杂度的最终形式

令$$ϵ=\gamma \sqrt{\frac{c}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{N}}+\frac{c}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{N}$$得$$N=O(\frac{1}{(1-\gamma {)}^3}\frac{\ln |S||A|/\delta }{{ϵ}^2})$$

所以有$\forall ϵ<1$，至少需要$N\ge \frac{1}{(1-\gamma {)}^3}\frac{\ln |S||A|/\delta }{{ϵ}^2}$个样本，才能在$1-\delta$的概率下，满足$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }\le ϵ$

三、Generative model的Sample Complexity的总结

1. 均匀交互假设，能在任意的$(s,a)$处调用stimulator，肆意地获取下一状态，回避了exploration的问题
2. 转移矩阵P未知，用最直接的方式进行建模$$\hat{P}(s^{\prime }\mid s,a)=\frac{\#(s^{\prime },s,a)}{N}$$
3. 学习的算法选择的是Q-value iteration 或 Policy Iteration

• 在第一篇文章中每天一个RL基础理论(4)——Sample Complexity(上），出发点是想bound住每一个策略的误差Uniform Value Accuracy，进而最优策略也被bound住了，命题如下，证明的入手点是从$l_1-norm$相关的不等式去bound住transition model的建模误差Model Accuracy
  
• 在第二篇文章中每天一个RL基础理论(5)——Sample Complexity(中），出发点是想直接bound住optimal policy的误差即可，没必要bound住迭代过程中的每一个策略，然后使用component-wise bound 以及 simulation lemma对目标进行了分析与拆解
  $$\begin{array}{rl}& Q^{\star }-{\hat{Q}}^{\star }\le \gamma {\left(I-\gamma {\hat{P}}^{{\pi }^{\star }}\right)}^{-1}(P-\hat{P})V^{{\pi }^{\star }}\\ & Q^{\star }-{\hat{Q}}^{\star }\le \gamma {\left(I-\gamma P^{{\pi }^{\star }}\right)}^{-1}(P-\hat{P}){\hat{V}}^{{\pi }^{\star }}\end{array}$$
• 在这篇文章中，分别选择了Hoeffding 与 Berstein inequality对上界的关键量进行了概率意义的限制，其中Berstein因为额外利用了分布方差的量从而bound得更紧致，但同时也必须要引入Bellman variance相关的公式与不等式进行放缩。最终整体命题如下：

关于uncertainty的参数$\delta \ge 0$，一些常数的简写量$c>0$，有$1-\delta$的概率有如下成立：

1. (Value estimation)
   $$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }\le \gamma \sqrt{\frac{c}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{N}}+\frac{c}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{N}$$
2. (Sub-optimality)如果$N\ge \frac{1}{(1-\gamma {)}^2}$
   $$\Vert Q^{\star }-Q^{{\hat{\pi }}^{\star }}{\Vert }_{\infty }\le \gamma \sqrt{\frac{c}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{N}}$$

---

换一种表述方式
3. (Value estimation)在$ϵ\le 1$下，如果
$$总的样本复杂度=|S||A|N\ge \frac{c|S||A|}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{{ϵ}^2}$$则在$1-\delta$概率下有：
$$\Vert Q^{\star }-{\hat{Q}}^{\star }{\Vert }_{\infty }\le ϵ$$
4. Sub-Optimality在$ϵ\le \sqrt{\frac{1}{1-\gamma }}$下，如果$$总的样本复杂度=|S||A|N\ge \frac{c|S||A|}{(1-\gamma {)}^3}\frac{\ln c|S||A|/\delta }{{ϵ}^2}$$则在$1-\delta$概率下有：
$$\Vert Q^{\star }-Q^{{\hat{\pi }}^{\star }}{\Vert }_{\infty }\le ϵ$$

• 一个关于样本获取的generative model的强假设，一个是naively对transition model的建模，然后在Q-value的iteration算法下，才推出这个bound。。
• 这个bound还是可以分析一下的，样本复杂度与effective horizon呈三次方的关系，和环境的状态与动作数量呈线性关系