每天一个RL基础理论(8)——Linear Bellman Completeness

参考资料

RL Theory Book 第三章

背景

之前的问题setting：

1. Infinite horizon discounted 且是Tabular的MDP
2. VI或PI算法
3. Generative Model的交互假设，回避了exploration的问题

现在添加一个额外的structural assumption——Linear Bellman Completeness：

• 稍微扩充一下Tabular MDP到Large Scale MDP，即离散的状态动作扩充到连续的状态动作
• 其它维持不变
• $\text{VI迭代式：}{Q}_{n+1}(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}[{\max }_{a^{\prime }}{Q}_n(s^{\prime },a^{\prime })]\forall s,a\in S\times A$会出问题，因为不能用Q-table的方式来表示Q-function即$Q(s,a)$，要进行function approximation
• 这里的结构假设，是linear function approximation

最终问题是：在原有问题setting扩充了状态动作空间的容量（简单说，离散到连续），能否有sample efficient的算法能找到$ϵ$-optimal的策略？

逻辑

本篇证明比较多，逻辑链条比较长。整体来看

1. Least Square的理论分析是基础，因为LSVI用到了Least Square（在4.2.2节）
2. 然后D-optimal的假设，是为了保证用于Least Square的数据集有充足的多样性（在3.3节）
3. 接着通过Least Square + D-optimal + Linear Bellman Completion 能得到low inherent Bellman error(在4.2.3节）
4. 有了Low Inherent Bellman error，就能bound住policy performance （在4.2.2节）

文章的写作逻辑，以介绍概念——理解定理——证明定理为主，不想看证明可直接跳过第四章节，第四章节总逻辑在4.2.3节。

一、从infinite horizon到finite horizon

为了便于分析，已知infinite horizon中只要把effective horizon即$\frac{1}{1-\gamma }$换成Finite horizon即$H$即可，另外再弱化关于transition 的stationarity即$P(\cdot |s,a)$变成跟时间有关$P_h(\cdot |s,a)，h\le H$

所以infinite horizon的定义$\mathcal{M}=(S,A,r,P,\gamma )$改写成finite horizon的定义$\mathcal{M}=(S,A,r,P_h,H)$

它们之间的联系：$H=\frac{1}{1-\gamma }$ & stationarity ${\lim }_{h\to \infty }{P}_h=P$

二、Linear Bellman Completeness

为了解决Tabular MDP到Large Scale MDP中，Q函数的表示问题，首先假设要进行linear function approximation，其次它要满足Bellman Completeness，称为Linear Bellman Completeness 定义如下：

给定一个已知的特征$\varphi (s,a)\in {\mathbb{R}}^d$，假设其满足Bellman 完备性，即$\forall s\in S,a\in A,h\in [H],\theta \in {\mathbb{R}}^d,\exists w\in {\mathbb{R}}^d$满足
$$w^{\top }\varphi (s,a)=r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\theta }^{\top }\varphi (s^{\prime },a^{\prime })]$$

关于Q函数的Bellman Optimality为：
$$Q^{\star }(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(\cdot |s,a)}[\underset{a^{\prime }}{\max }{Q}^{\star }(s^{\prime },a^{\prime })]$$

可以观察到Bellman Optimality 与 Linear Bellman Completeness非常相似。

• 简单理解一下：Q本来是在$(s,a)$空间构成的映射，变成了在$\varphi (s,a)$张成的空间中的点。
• 当$\varphi (s,a)=\text{one-hot}(s,a)$，此时便可看成Tabular MDP，即$\varphi (s,a)=(1,0,0,....,0)$
• 假设s有两个值$s_1,s_2$，动作有一个值a，它们的特征可设计成$\varphi (s,a)=(s_1{s}_2,s_1^2,s_2^2,s_{1}a,s_{2}a,a,a^2,1)$，可看作LQR问题

一句话总结：$\varphi (s,a)$已知，该假设的参数$w,\theta$唯一标识了不同的Q函数，在第h时刻最优的Q函数$Q_h^{\star }(s,a)={\theta }_h^{\star }\varphi (s,a)$

三、LSVI的理论

3.1 LSVI算法流程

LSVI是Least Squar Value Iteration，是在Linear Bellman Completion的强假设下的一种sample efficient的算法，能在多项式时间找到$ϵ$-optimal的策略。先以与时间有关的角度，改写下Linear Bellman Completion：
$${\theta }_h^{\top }\varphi (s,a)=r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\theta }_{h+1}^{\top }\varphi (s^{\prime },a^{\prime })]$$

LSVI的算法流程：

1. 在每个时间刻$h\in 0,1,...,H-1$，利用generative model的方式$s^{\prime }\sim P_h(\cdot |s,a)$进行数据收集，得到$D_0,D_1,...,D_{H-1}$个数据集，其中一个数据样本以$(s,a,r,s^{\prime })$的方式存储
2. 处理边界情况，令$V_H(s)=0,\forall s\in S$
3. 对于$h=H-1\to 0$，根据数据集$D_h$，学习参数${\theta }_h$

$$1.{\theta }_h=\underset{\theta }{\mathrm{argmin}}\sum _{D_h}{\left({\theta }^{\top }\varphi (s,a)-r-V_{h+1}(s^{\prime })\right)}^2$$$$2.V_h(s)=\underset{a}{\max }{\theta }_h^{\top }\varphi (s,a),\forall s$$

最后的策略从学习到的Q值中得到：${\hat{\pi }}_h(s)=\underset{a}{\mathrm{argmax}}{\theta }_h^{\top }\varphi (s,a)\forall h$

3.2 LSVI样本复杂度

给出定理：
在finite horizon，Large Scale MDP，generative model的设定下，假设Linear Bellman Completion，使用LSVI算法得到策略$\hat{\pi }$，如果采集到的数据集 { D h } h = 0 H − 1 \{D_h\}_{h=0}^{H-1} {Dh​}h=0H−1​满足D-optimal design，则有至少$1-\delta$的概率，找到有$ϵ$-optimal策略即$V^{\hat{\pi }}-V^{\star }\le ϵ$，每个数据集$D_h$的样本复杂度为$$O(d^2+H^6{d}^2/{ϵ}^2)$$

其中d为特征空间$\varphi (s,a)$的维度，这里是把样本复杂度中无限空间的$|S||A|$换成了有限的特征空间$\varphi (s,a)$

为什么假设了Linear Bellman Completion，还需要D-optimal Design呢？因为这里涉及到了通过数据集$D_h$进行最小二乘法回归的问题，这必定会涉及到数据分布，如果测试数据离训练数据很远，是没办法泛化到的，也就难以保证$ϵ$-optimal中的optimal，所以还得加一个使数据集有足够多样性的假设D-optimal design

3.3 D-optimal Design

样本所在空间$\mathcal{X}\in {\mathbb{R}}^d$，对$\mathcal{X}$以分布$p$的方式进行采样得到数据集 D = { x : x ∼ p } D=\{x:x\sim p\} D={x:x∼p}，衡量数据集$D$的多样性，相当于对样本空间$\mathcal{X}$的采样分布$p$进行多样性衡量。

D-optimality：假设采样分布$p$至多包含样本空间$\mathcal{X}$中$d(d+1)/2$个点，定义$\Sigma ={\mathbb{E}}_{x\sim p}[x{x}^T]$且有$x^{\top }{\Sigma }^{-1}x\le d\forall x\in \mathcal{X}$，则称分布$p$为D-optimal design

首先$d(d+1)/2$保证分布$p$有一定数量的点，$\Sigma$是定义了分布内的点的信息量，$x^{\top }\Sigma x\le d,\forall x\in \mathcal{X}$表示了整个样本空间中的点，离$p$分布的点距离不超过$d$，完成了多样性的量化

以$D$-optimality为原则，来量化多样性，最大化以下目标筛选采样分布$$p=\underset{v}{\mathrm{argmax}}\ln \det {\mathbb{E}}_{x\sim v}[x{x}^{\top }]$$

因为采样分布$p$是D-optimal design的，因此根据它从样本空间$\mathcal{X}$采样得到的数据集$D$，具备一定的多样性(coverage)

3.4 LSVI样本复杂度的最终命题

四、LSVI样本复杂度的证明

4.1 熟悉time-dependent的finite MDP

主要是在做Q-value iteration方面的迭代，因此改写下与Q相关的公式：

1. Bellman Optimality
   $$\begin{array}{rl}\text{Infinite Stationary:}& \\ Q^{\star }(s,a)& =r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}\left[\underset{a^{\prime }}{\max }{Q}^{\star }(s^{\prime },a^{\prime })\right]\\ V^{\star }(s)& =\underset{a}{\max }{Q}^{\star }(s,a)\\ Q& =\mathcal{B}Q\text{ (简写)}\\ \text{Finite Non-stationary:}& \\ Q_h^{\star }(s,a)& =r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}\left[\underset{a^{\prime }}{\max }{Q}_{h+1}^{\star }(s^{\prime },a^{\prime })\right]\\ V_h^{\star }(s)& =\underset{a}{\max }{Q}_h^{\star }(s,a)\\ Q_h& ={\mathcal{B}}_h{Q}_{h+1}\text{ (简写)}\end{array}$$
2. Non-stationary下$Q_h^{\star }$满足：
   $$Q_H^{\star }=0,Q_{H-1}^{\star }=r,Q_h^{\star }={\mathcal{B}}_h{Q}_{h+1}^{\star }$$

4.2 Inherent Bellman Error

如果通过某个算法估计的${\hat{Q}}_h$有$\Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }\le ϵ$成立（这个条件称做Inherent Bellman Error），则

1. $\Vert {\hat{Q}}_h-Q_h^{\star }{\Vert }_{\infty }\le (H-h)ϵ\forall h\in [0,1,2...,H-1]$
2. $|V^{\hat{\pi }}-V^{\star }|\le 2H^2ϵ$，其中${\hat{\pi }}_h(s)=\underset{a}{\mathrm{argmax}}{\hat{Q}}_h(s,a)$

4.2.1 证明$\Vert {\hat{Q}}_h-Q_h^{\star }{\Vert }_{\infty }\le (H-h)ϵ$

1. 已知$Q_H(s,a)=0$，根据Inherent Bellman Error$\Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }\le ϵ$，令h=H-1，有$$\Vert {\hat{Q}}_{H-1}-r{\Vert }_{\infty }\le ϵ$$
2. 由$Q_{H-1}^{\star }=r$，得到$$\Vert {\hat{Q}}_{H-1}-Q_{H-1}^{\star }{\Vert }_{\infty }\le ϵ$$
3. 分析目标
   $$\begin{array}{rl}\Vert {\hat{Q}}_h-Q_h^{\star }{\Vert }_{\infty }& \le \Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }+\Vert {\mathcal{B}}_h{\hat{Q}}_{h+1}-Q_h^{\star }{\Vert }_{\infty }\\ & \le ϵ+\Vert {\mathcal{B}}_h{\hat{Q}}_{h+1}-{\mathcal{B}}_h{Q}_{h+1}^{\star }{\Vert }_{\infty }\\ & \le ϵ+\Vert {\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\hat{Q}}_{h+1}(s^{\prime },a^{\prime })]-E_{s^{\prime \prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime \prime }}{\max }{Q}_{h+1}^{\star }(s^{\prime \prime },a^{\prime \prime })]{\Vert }_{\infty }\\ & \le ϵ+\Vert {\hat{Q}}_{h+1}-Q_{h+1}^{\star }{\Vert }_{\infty }\end{array}$$
4. 熟悉的套娃环节，到$\Vert {\hat{Q}}_{H-1}-Q_{H-1}^{\star }{\Vert }_{\infty }\le ϵ$，因此有$$\Vert {\hat{Q}}_h-Q_h^{\star }{\Vert }_{\infty }\le (H-h)ϵ\forall h\in [0,1,2...,H-1]$$

4.2.2 证明$|V^{\hat{\pi }}-V^{\star }|\le 2H^2ϵ$

1. 从后向前考虑，先看H-1时刻（下面每一步恒等变形都是为了对齐动作）
   $$\begin{array}{rl}|V_{H-1}^{\star }(s)-V_{H-1}^{\hat{\pi }}(s)|& =|Q_{H-1}^{\star }(s,{\pi }_{H-1}^{\star }(s))-Q_{H-1}^{\hat{\pi }}(s,{\hat{\pi }}_{H-1}(s))|\\ & =|Q_{H-1}^{\star }(s,{\pi }_{H-1}^{\star }(s))-Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))+Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))-Q_{H-1}^{\hat{\pi }}(s,{\hat{\pi }}_{H-1}(s))|\\ & =|Q_{H-1}^{\star }(s,{\pi }_{H-1}^{\star }(s))-Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))|\\ & =|Q_{H-1}^{\star }(s,{\pi }_{H-1}^{\star }(s))-{\hat{Q}}_{H-1}(s,{\pi }_{H-1}^{\star }(s))+{\hat{Q}}_{H-1}(s,{\pi }_{H-1}^{\star }(s))-Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))|\\ & \le |Q_{H-1}^{\star }(s,{\pi }_{H-1}^{\star }(s))-{\hat{Q}}_{H-1}(s,{\pi }_{H-1}^{\star }(s))+{\hat{Q}}_{H-1}(s,{\hat{\pi }}_{H-1}(s))-Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))|\\ & \le |Q_{H-1}^{\star }(s,{\pi }_{H-1}^{\star }(s))-{\hat{Q}}_{H-1}(s,{\pi }_{H-1}^{\star }(s))|+|{\hat{Q}}_{H-1}(s,{\hat{\pi }}_{H-1}(s))-Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))|\\ & \le 2ϵ\end{array}$$

• 注意到$\forall s,a$，有$Q_{H-1}^{\star }(s,a)=r(s,a)=Q_{H-1}^{\hat{\pi }}(s,a)$，因此$Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))-Q_{H-1}^{\hat{\pi }}(s,{\hat{\pi }}_{H-1}(s))=0$
• 另外$Q_{H-1}^{\star }(s,{\hat{\pi }}_{H-1}(s))-{\hat{Q}}_{H-1}(s,{\hat{\pi }}_{H-1}(s))\ne 0$

2. 考虑任意时刻$h$之间的迭代式：
   $$\begin{array}{rl}|V_h^{\star }(s)-V_h^{\hat{\pi }}(s)|& =|Q_h^{\star }(s,{\pi }_h^{\star }(s))-Q_h^{\hat{\pi }}(s,{\hat{\pi }}_h(s))|\\ & =|Q_h^{\star }(s,{\pi }_h^{\star }(s))-Q_h^{\star }(s,{\hat{\pi }}_h(s))+Q_h^{\star }(s,{\hat{\pi }}_h(s))-Q_h^{\hat{\pi }}(s,{\hat{\pi }}_h(s))|\\ & =|Q_h^{\star }(s,{\pi }_h^{\star }(s))-Q_h^{\star }(s,{\hat{\pi }}_h(s))+{\mathbb{E}}_{s^{\prime }\sim P_h}[V_{h+1}^{\star }(s^{\prime })-V_{h+1}^{\hat{\pi }}(s^{\prime })]|\\ & =|Q_h^{\star }(s,{\pi }_h^{\star }(s))-{\hat{Q}}_h(s,{\hat{\pi }}_h(s))+{\hat{Q}}_h(s,{\hat{\pi }}_h(s))-Q_h^{\star }(s,{\hat{\pi }}_h(s))+{\mathbb{E}}_{s^{\prime }\sim P_h}[V_{h+1}^{\star }(s^{\prime })-V_{h+1}^{\hat{\pi }}(s^{\prime })]|\\ & \le |Q_h^{\star }(s,{\pi }_h^{\star }(s))-{\hat{Q}}_h(s,{\pi }_h^{\star }(s))+{\hat{Q}}_h(s,{\hat{\pi }}_h(s))-Q_h^{\star }(s,{\hat{\pi }}_h(s))+{\mathbb{E}}_{s^{\prime }\sim P_h}[V_{h+1}^{\star }(s^{\prime })-V_{h+1}^{\hat{\pi }}(s^{\prime })]|\\ & \le 2(H-h)ϵ+|{\mathbb{E}}_{s^{\prime }\sim P_h}[V_{h+1}^{\star }(s^{\prime })-V_{h+1}^{\hat{\pi }}(s^{\prime })]|\end{array}$$
3. 按时刻展开迭代式：
   $$\begin{array}{rl}|V_{H-1}^{\star }(s)-V_{H-1}^{\hat{\pi }}(s)|& \le 2ϵ\\ |V_{H-2}^{\star }(s)-V_{H-2}^{\hat{\pi }}(s)|& \le 4ϵ+2ϵ\\ |V_{H-3}^{\star }(s)-V_{H-3}^{\hat{\pi }}(s)|& \le 6ϵ+4ϵ+2ϵ\\ & \cdots \\ |V_h^{\star }(s)-V_h^{\hat{\pi }}(s)|& \le 2ϵ(H-h)H\end{array}$$
4. 因此h=0时，有$|V_0^{\star }(s)-V_0^{\hat{\pi }}(s)|\le 2H^2ϵ$

4.3 LSVI算法的假设与证明

关键：说明LSVI算法有$\Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }\le ϵ$成立，就可以利用上述结果

4.3.1 LSVI的隐含假设

1. Linear Bellman Completeness
   $$\begin{array}{rl}{\hat{Q}}_h(s,a)& ={\hat{\theta }}_h\varphi (s,a)\\ {\mathcal{B}}_h{\hat{Q}}_{h+1}(s,a)& =r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\hat{Q}}_{h+1}(s^{\prime },a^{\prime })]\\ {\mathcal{B}}_h{\hat{Q}}_{h+1}(s,a)& =r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\hat{\theta }}_{h+1}\varphi (s^{\prime },a^{\prime })]\end{array}$$
2. D-optimal Design
   ϕ ( s , a ) ∈ R d Σ = E ϕ ( s , a ) ϕ ( s , a ) ⊤ p = arg max ⁡ v ln ⁡ det ⁡ E ( s , a ) ∼ v ϕ ( s , a ) ϕ ( s , a ) ⊤ D h = { ( s ( i ) , a ( i ) , r ( i ) , ( s ′ ) ( i ) ) ∣ ( s , a ) ∼ p , s ′ ∼ P h ( ⋅ ∣ s , a ) } i = 1 N Σ h = ∑ s , a ∈ D h ϕ ( s , a ) ϕ ( s , a ) ⊤ 是可逆的 ∀ ( s , a ) , N Σ ≤ ϕ ( s , a ) ⊤ Σ h − 1 ϕ ( s , a ) ≤ d \begin{aligned} &\phi(s,a)\in \mathbb R^d\\ &\Sigma=\mathbb E_{\phi(s,a)\phi(s,a)^\top}\\ &p=\argmax_v \ln\det \mathbb E_{(s,a)\sim v} \phi(s,a)\phi(s,a)^\top\\ &D_h=\{(s^{(i)},a^{(i)},r^{(i)},(s')^{(i)})|(s,a)\sim p,s'\sim P_h(\cdot|s,a)\}_{i=1}^{N}\\ &\Sigma_h=\sum_{s,a\in D_h}\phi(s,a)\phi(s,a)^\top \text{是可逆的}\\ & \forall (s,a), N\Sigma\leq\phi(s,a)^\top \Sigma_h^{-1}\phi(s,a)\leq d \end{aligned} ​ϕ(s,a)∈RdΣ=Eϕ(s,a)ϕ(s,a)⊤​p=vargmax​lndetE(s,a)∼v​ϕ(s,a)ϕ(s,a)⊤Dh​={(s(i),a(i),r(i),(s′)(i))∣(s,a)∼p,s′∼Ph​(⋅∣s,a)}i=1N​Σh​=s,a∈Dh​∑​ϕ(s,a)ϕ(s,a)⊤是可逆的∀(s,a),NΣ≤ϕ(s,a)⊤Σh−1​ϕ(s,a)≤d​
3. LSVI中的Least Square
   $$\begin{array}{rl}\text{正常的LS：}& y=\theta x+ϵ\\ \text{Qh的LS：}& y=r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\hat{\theta }}_{h+1}\varphi (s^{\prime },a^{\prime })],\theta ={\hat{\theta }}_h,x=\varphi (s,a)\end{array}$$

4.3.2 Ordinary Least Square

简要复习下普通最小二乘法的理论，这里蕴含的假设是fixed design analysis，具体证明见2012年的论文Random Design Analysis of Ridge Regression。

已知一个$N$个样本的数据集 D = { x ( i ) , y ( i ) } i = 1 N D=\{x^{(i)},y^{(i)}\}_{i=1}^N D={x(i),y(i)}i=1N​，其中$x^{(i)}\in {\mathbb{R}}^d,y^{(i)}\in {\mathbb{R}}^1$，$x_j^{(i)}$表示第$i$个样本的第$j$维。它们的结构假设是线性的，存在一个最优向量参数${\theta }^{\star }$，使得$y^{(i)}=({\theta }^{\star }{)}^{\top }{x}^{(i)}+{ϵ}^{(i)}$，其中噪声假设为$\mathbb{E}[ϵ]=0,|ϵ|\le \sigma$。

令样本矩阵$X\in {\mathbb{R}}^{N\times d}$，它们的协方差矩阵$\Sigma =X^{\top }X={\sum }_{i=1}^N{x}^{(i)}(x^{(i)}{)}^{\top }$，假设$\Sigma$可逆，最小化二乘法学习到的参数$\hat{\theta }$：$$\hat{\theta }=\underset{\theta }{\mathrm{argmin}}(X\theta -Y{)}^2=(X^{\top }X{)}^{-1}{X}^{\top }Y={\Sigma }^{-1}{X}^{\top }Y$$

根据2012年的论文Random Design Analysis of Ridge Regression推导，选取$\delta \in (0,1)$，至少$1-\delta$的概率有如下成立：
$$(\hat{\theta }-{\theta }^{\star }{)}^{\top }\Sigma (\hat{\theta }-{\theta }^{\star })=\Vert \hat{\theta }-{\theta }^{\star }{\Vert }_{\Sigma }^2\le {\sigma }^2(d+\sqrt{d\ln (1/\delta )}+2\ln (1/\delta ))$$

具体展开看，$$(\hat{\theta }-{\theta }^{\star }{)}^{\top }\Sigma (\hat{\theta }-{\theta }^{\star })=(\hat{\theta }-{\theta }^{\star }{)}^{\top }{X}^{\top }X(\hat{\theta }-{\theta }^{\star })=(X(\hat{\theta }-{\theta }^{\star }){)}^{\top }(X(\hat{\theta }-{\theta }^{\star }))=(\hat{Y}-Y{)}^2=\sum _{i=1}^N(\hat{\theta }{x}^{(i)}-{\theta }^{\star }{x}^{(i)})$$

4.3.3 LSVI的Inherent Bellman Error

先套Least Square的理论结果得到第h时刻估计参数${\hat{\theta }}_h$与最优参数${\theta }^{\star }$的界

1. 套用LS的理论结果：
   $$(\hat{\theta }-{\theta }^{\star }{)}^{\top }\Sigma (\hat{\theta }-{\theta }^{\star })=\Vert \hat{\theta }-{\theta }^{\star }{\Vert }_{\Sigma }^2\le {\sigma }^2(d+\sqrt{d\ln (1/\delta )}+2\ln (1/\delta ))$$
2. LSVI中第h时刻从数据集$D_h$拟合参数${\hat{\theta }}_h$时的对应关系：

• 每一个$D_h$中的样本为$(s,a,r,s^{\prime })$中的输入$(s,a)$，采样$s^{\prime }\sim P_h(\cdot |s,a)$，其真实值为$y=r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[{\max }_{a^{\prime }}{\hat{\theta }}_{h+1}\varphi (s^{\prime },a^{\prime })]$
• 从$s^{\prime }\sim P_h(\cdot |s,a)$采样一个样本$(s,a,r,s^{\prime })$，观察到的采样为$y^{(i)}=r(s,a)+{\max }_{a^{\prime }}{\hat{\theta }}_{h+1}\varphi (s^{\prime },a^{\prime })$
• 因此关于一个$(s,a)$，采样带来的噪声为$${ϵ}^{(i)}=y^{(i)}-y=r(s,a)+\underset{a^{\prime }}{\max }{\hat{\theta }}_{h+1}\varphi (s^{\prime },a^{\prime })-r(s,a)-{\mathbb{E}}_{s^{\prime \prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\hat{\theta }}_{h+1}\varphi (s^{\prime \prime },a^{\prime })]$$
  很自然我们有：
  $$\mathbb{E}[ϵ]={\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[r(s,a)+\underset{a^{\prime }}{\max }{\hat{\theta }}_{h+1}\varphi (s^{\prime },a^{\prime })]-{\hat{\theta }}_h\varphi (s,a)=0$$
  在Infinite Horizon中Q函数的范围为$(0,\frac{1}{1-\gamma })$，因此在finite horizon中Q函数的范围为$(0,H)$，因此噪声项有
  $$|ϵ|\le 2H$$
• $\Sigma ={\Sigma }_h={\sum }_{(s,a)\in D_h}\varphi (s,a)\varphi (s,a{)}^{\top }$
• ${\theta }^{\star }$能令$x=\varphi (s,a)$为真实值y，即${\theta }^{\star }x=y$，套进来为：
  $$({\theta }^{\star }{)}^{\top }\varphi (s,a)=r(s,a)+{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\hat{\theta }}_{h+1}\varphi (s^{\prime },a^{\prime })]$$

3. 所以LSVI在第h时刻的最小二乘法可以得到：$$({\hat{\theta }}_h-{\theta }^{\star }{)}^{\top }{\Sigma }_h({\hat{\theta }}_h-{\theta }^{\star })=\Vert {\hat{\theta }}_h-{\theta }^{\star }{\Vert }_{{\Sigma }_h}^2\le 4H^2(d+\sqrt{d\ln (1/\delta )}+2\ln (1/\delta ))$$
4. 分析目标
   $$\begin{array}{rl}\Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }& =\underset{s,a}{\max }|{\hat{\theta }}_h^{\top }\varphi (s,a)-r(s,a)-{\mathbb{E}}_{s^{\prime }\sim P_h(\cdot |s,a)}[\underset{a^{\prime }}{\max }{\hat{\theta }}_{h+1}^{\top }\varphi (s^{\prime },a^{\prime })]|\\ & =\underset{s,a}{\max }|{\hat{\theta }}_h^{\top }\varphi (s,a)-({\theta }^{\star }{)}^{\top }\varphi (s,a)|\\ & =\underset{s,a}{\max }|({\hat{\theta }}_h-{\theta }^{\star }{)}^{\top }\varphi (s,a)|\\ & =\underset{s,a}{\max }\sqrt{|({\hat{\theta }}_h-{\theta }^{\star }{)}^{\top }\varphi (s,a){|}^2}\text{ (利用∑aibi≤∑ai2∑bi2进行放缩)}\\ & \le \underset{s,a}{\max }\sqrt{|({\hat{\theta }}_h-{\theta }^{\star }{)}^{\top }({\hat{\theta }}_h-{\theta }^{\star })||\varphi (s,a{)}^{\top }\varphi (s,a)|}\\ & =\underset{s,a}{\max }\sqrt{|({\hat{\theta }}_h-{\theta }^{\star }{)}^{\top }{\Sigma }_h({\hat{\theta }}_h-{\theta }^{\star })||\varphi (s,a{)}^{\top }{\Sigma }_h^{-1}\varphi (s,a)|}\\ & \le \underset{s,a}{\max }\sqrt{4H^2(d+\sqrt{d\ln (1/\delta )}+2\ln (1/\delta ))\frac{d}{N}}\\ & \le \underset{s,a}{\max }\frac{4Hd\sqrt{\ln 1/\delta }}{\sqrt{N}}=\frac{4Hd\sqrt{\ln 1/\delta }}{\sqrt{N}}\end{array}$$
5. 求得数据集$D_h$的大小$N$，令$ϵ=\frac{4Hd\sqrt{\ln 1/\delta }}{\sqrt{N}}$，得$$N=\frac{16H^2{d}^2\ln (H/\delta )}{{ϵ}^2}$$

4.3.4 LSVI样本复杂度的总逻辑

• 4.2节
  如果算法估计的${\hat{Q}}_h$有$\Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }\le ϵ$成立（Inherent Bellman Error），则
  1. $\Vert {\hat{Q}}_h-Q_h^{\star }{\Vert }_{\infty }\le (H-h)ϵ\forall h\in [0,1,2...,H-1]$
  2. $|V^{\hat{\pi }}-V^{\star }|\le 2H^2ϵ$，其中${\hat{\pi }}_h(s)=\underset{a}{\mathrm{argmax}}{\hat{Q}}_h(s,a)$
• 4.3.3节
  利用了Least Squre + D-optimal Design后，当$N\ge \frac{16H^2{d}^2\ln (H/\delta )}{{ϵ}^2}$有$\Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }\le ϵ$成立
• 总逻辑
  1. 以$p=\underset{v}{\mathrm{argmax}}\ln \det {\mathbb{E}}_{(s,a)\sim v}[\varphi (s,a)\varphi (s,a{)}^{\top }]$方式得到在$(s,a)$空间上的最优采样分布$p$
  2. 然后在$h=0,1,...,H-1$的每个时刻，对于一个$(s,a)$，从其下一状态的真实分布$P_h(s^{\prime }|s,a)$中随机采样$\lceil p(s,a)N\rceil$个下一状态值$s^{\prime }$作为样本，所以$D_h$的大小为${\sum }_{s,a}\lceil p(s,a)N\rceil$。
  3. 因此H个数据集的总样本数为
     $$总的样本数=H\sum _{s,a\in p}\lceil p(s,a)N\rceil \le H\sum _{s,a\in p}(1+p(s,a)N)$$
  4. 设定目标的误差为$|V^{\hat{\pi }}-V^{\star }|\le 2H^2ϵ={ϵ}^{\prime }$，所以$ϵ=\frac{{ϵ}^{\prime }}{2H^2}$，这要求Inherent Bellman error$\Vert {\hat{Q}}_h-{\mathcal{B}}_h{\hat{Q}}_{h+1}{\Vert }_{\infty }\le \frac{{ϵ}^{\prime }}{2H^2}$，可知$N=\frac{64H^6{d}^2\ln H/\delta }{({ϵ}^{\prime }{)}^2}$
  5. 因此为了保持${ϵ}^{\prime }$-optimal的策略$|V^{\hat{\pi }}-V^{\star }|\le 2H^2ϵ={ϵ}^{\prime }$ ，需要$$总的样本数=H\sum _{s,a\in p}\lceil p(s,a)N\rceil \le H\sum _{s,a\in p}(1+p(s,a)N)\le H(d^2+\frac{64H^6{d}^2\ln H/\delta }{({ϵ}^{\prime }{)}^2})$$

总结

假设很多，这里分一下类。

• 关于问题建模本身的假设：finite horizon、Large Scale MDP、time-dependent policy(non-stationary policy)
• 关于最优Q值的结构假设：Linear 、 结构变化是Linear Bellman Completion
• 关于数据集多样性的分布假设：D-optimality
• 关于算法中最小二乘的假设：fixed design analysis

这些假设，是相应算法在多项式时间内找到$ϵ$-optimal策略的保证。