【论文解读】探索 DRL 的树结构规划能力：TreeQN 和 ATreeC

本文解读 TreeQN 和 ATreeC，这两种创新的、基于树结构的深度强化学习模型。它们通过动态构建和学习抽象状态空间中的规划树，有效提升了智能体的决策能力。实验证明，TreeQN 和 ATreeC 在复杂任务和经典游戏中都展现出超越现有方法的卓越性能。

文章来自牛津大学的 Gregory Farquhar 等人，作者四人中现在有三人在 DeepMind 。

1th author: ‪Gregory Farquhar‬ - ‪Google Scholar‬

paper: [1710.11417] TreeQN and ATreeC: Differentiable Tree-Structured Models for Deep Reinforcement Learning

code: oxwhirl/treeqn

1. 背景问题与动机

深度强化学习（Deep RL）近年来在许多领域取得了显著成功，尤其是结合深度学习来处理高维感知输入。其中，无模型方法（model-free）如 DQN, A2C 等，直接学习价值函数或策略，简单高效。然而，它们通常需要大量的试错经验，且缺乏对环境动力学的显式理解，难以进行前向预测和规划。

另一方面，基于模型的方法（model-based）试图学习环境的动力学模型（environment dynamics），然后利用学到的模型进行规划。理论上，这能更高效地利用经验，甚至在模型准确的情况下实现完美的规划。但实际中，在高维、复杂的环境中准确学习一个全局的、完全忠实的动力学模型极具挑战性，且模型误差会随着规划深度迅速累积，导致“幻觉”（hallucination）问题，严重影响规划效果。

那么，能否将两者结合，既享受无模型的端到端优化带来的便利，又利用模型进行局部的、短视角的规划，以提升样本效率和决策质量？

为了解决这些问题，Farquhar等人在2018年提出了 TreeQN 和 ATreeC ，思路是: 在价值函数（例如如 Figure 1 的抽象 DQN 结构）处理状态编码后增加一个可微分的树形结构，其用内部规划的方式替换掉原本输出 Q 值的全连接层。

2. TreeQN 的计算图

TreeQN 将传统的树状规划过程转化为一个可微分的神经网络结构。不同于仅仅使用一个预训练或独立训练的模型进行规划，TreeQN 将模型 components (转移函数、奖励函数、价值函数) 作为神经网络的一部分进行联合训练。在学习到的抽象状态空间中构建一个前向查找树，并通过可微分的方式回传梯度。

TreeQN 的整体结构可以视为 DQN 的一个扩展，它在状态编码 $z_t$ 和最终的 Q 值输出之间插入了一个递归的树状网络。如论文 Figure 2 所示，这个树状网络包含了多个层级的节点，每个节点代表一个预测的未来抽象状态。

2.1 TreeQN 的组成部分

1. 状态编码器 (Encoder Function):
   是 TreeQN 的起始点，负责将原始的状态观测 $s_t$ （通常是高维数据，如图像）编码成一个低维的抽象状态表示 $z_{0|t}$。
   在论文的实现中，对于视觉观测，编码器通常由一系列卷积层构成 ，最后接一个全连接层。其数学表达可以概括为：
   $$z_{0|t}=\text{encode}(s_t)$$
   这里的 $\text{encode}(\cdot )$ 代表了整个编码网络的复杂非线性变换。$z_{0|t}$ 表示在时间 $t$ 进行了 $0$ 步内部规划后的状态（规划树的根节点）。

2. 转移函数 (Transition Function):
   预测在抽象状态下执行某个动作后，下一个抽象状态的表示。与传统的环境模型不同，这里的转移是在学习到的潜在空间中进行的。
   对于树中的任意节点，其状态表示为 $z_{l|t}$（表示在时间 $t$ 的真实状态基础上，经过了 $l$ 步的内部规划转移， $l$ 也表示节点的深度）。执行动作 $a_i\in \mathcal{A}$ 后，预测的下一个状态表示为 $z_{l+1|t}^{a_i}$ ：
   $$\begin{gathered} z_{l+1|t}^{\text{env}}=z_{l|t}+\tanh (W^{\text{env}}{z}_{l|t}+b^{\text{env}}) \\ {z}_{l+1|t}^{a_i}=z_{l+1|t}^{\text{env}}+\tanh (W^{a_i}{z}_{l+1|t}^{\text{env}}) \end{gathered}$$
   其中 $W^{\text{env}},W^{a_i}\in {\mathbb{R}}^{k\times k}$ 和 $b^{\text{env}}\in {\mathbb{R}}^k$ 是可学习的参数，$k$ 是抽象状态空间的维度。注意，对于同一个动作 $a_i$，其转移矩阵 $W^{a_i}$ 在整个规划树的所有层级中都是共享的 。这体现了马尔可夫过程的 stationary property 归纳偏置。
   为了防止状态表示的范数在递归应用中爆炸或消失，论文还在每次应用转移函数前对状态向量进行 L2 范数归一化 ：
   $$z_{l|t}:=\frac{z_{l|t}}{||z_{l|t}|{|}_2}$$
   这个转移函数被递归地应用于树中的每个节点，直到达到预设的深度 $d$。

3. 奖励函数 (Reward Function):
   与转移函数并行，TreeQN 也学习一个奖励函数来预测在抽象状态下执行某个动作所获得的即时奖励。对于状态 $z_{l|t}$ 和动作 $a_i$，预测的奖励记为 ${\hat{r}}_{l|t}^{a_i}$。
   论文中使用了一个带有 ReLU 激活的两层 MLP 来预测奖励 ：
   $$\hat{r}(z_{l|t})=W_2^r\text{ReLU}(W_1^r{z}_{l|t}+b_1^r)+b_2^r$$
   其中 $W_1^r\in {\mathbb{R}}^{m\times k},W_2^r\in {\mathbb{R}}^{|\mathcal{A}|\times m}$ 是可学习参数，$m$ 是隐藏层维度，$|\mathcal{A}|$ 是动作空间的数量。预测的奖励 ${\hat{r}}_{l|t}^{a_i}$ 是向量 $\hat{r}(z_{l|t})$ 的第 $i$ 个元素。

4. 价值函数 (Value Function):
   该函数用于估计规划树叶子节点（即达到最大规划深度 $d$ 时的抽象状态）的价值。论文中使用了一个简单的线性函数 ：
   $$V(z)=w^{\top }z+b$$
   其中 $w\in {\mathbb{R}}^k$ 和 $b\in \mathbb{R}$ 是可学习参数。这个价值函数在所有叶子节点上也是参数共享的。

5. 回传函数 (Backup Function):
   是 TreeQN 中连接预测奖励和价值估计，并计算最终 Q 值的关键。它通过树结构反向传播价值信息。论文中使用了一个基于 softmax 的函数来进行回传 ：
   $$\text{b}(\mathbf{x})=\sum _i{x}_i\text{softmax}(\mathbf{x}{)}_i$$
   其中 $\mathbf{x}$ 是一个向量。这个函数可以递归地应用于树的每个层级。

2.2 计算 Q 值

利用上面的组件，TreeQN 中深度为 $l$ 的节点执行动作 $a_i$ 的 Q 值估计 $Ql(z_{l\mid t},a_i)$ 可以递归计算：

• 叶子节点 ($l=d$):
  $$Q^d(z_{d|t},a_i)={\hat{r}}_{d|t}^{a_i}+\gamma V(z_{d+1|t}^{a_i})$$
  这里的 $z_{d+1\mid t}^{a_i}$ 是通过转移函数从 $z_{d\mid t}$ 和 $a_i$ 预测得到的抽象状态。

• 非叶子节点 ($l<d$):
  $$Q^l(z_{l|t},a_i)={\hat{r}}_{l|t}^{a_i}+\gamma \left[(1-\lambda )V(z_{l|t}^{a_i})+\lambda \text{b}\left(Q^{l+1}(z_{l+1|t}^{a_i},a_j)\right)\right]$$
  注意这里的 $Q^{l+1}(z_{l+1|t}^{a_i},a_j)$ 是一个向量，包含了从状态 $z_{l+1\mid t}^{a_i}$ 执行所有可能动作 $a_j$ 得到的下一层 Q 值估计。

  $0<\lambda <1$ 是一个超参数，作者的思路是: 混合中间状态的价值 $V(z_{l|t}^{a_i})$ 和 $\text{b}$ 回传的价值，而非仅使用回传，这样可以使中间状态的价值更有实际意义。

  如果 $\lambda =1$ 且回传函数 $\text{b}$ 是标准的最大值函数 $\max$ 时，退化为标准的 Bellman 回传 ：
  $$Q^l(z_{l|t},a_i)={\hat{r}}_{l|t}^{a_i}+\gamma \underset{a^{\prime }}{\max }{Q}^{l+1}(z_{l+1|t}^{a_i},a^{\prime })$$
  使用 softmax 的回传函数而非 hard max 的好处在于，它允许梯度流经所有分支，而不仅仅是最大 Q 值对应的最优分支 。这使得模型能够从所有可能的规划路径中学习，潜在的提高训练的稳定性并减少对最优路径预测准确性的过度依赖。

通过将上述所有模块组合起来，TreeQN 构建了一个从原始状态 $s_t$ 到最终每个动作的 Q 值估计 $Q(s_t,a)$ 的可微分计算图。在训练过程中，梯度可以直接从最终的 Q 值损失回传到编码器、转移函数、奖励函数和价值函数的参数。这种端到端的训练方式确保了学习到的模型 components 能够有效地服务于在线规划，以提高 Q 值估计的准确性。

3. 训练与 Grounding

TreeQN 架构的完全可微分的特性意味着可以将 TreeQN 直接“插入”到现有的离散动作空间的深度强化学习算法中，作为价值函数网络（例如 DQN）或策略网络（例如 A2C）的替代品，并进行端到端的训练。这种训练确保了学习到的模型 components 是为了提升最终的 RL 性能而优化的，避免了独立训练模型可能导致的失配问题。

3.1 损失函数

论文主要在两种流行的算法框架下评估了 TreeQN：n-step Q-learning 和 A2C。

在 n-step Q-learning 框架下，TreeQN 取代了标准 DQN 的最后全连接层，直接输出每个离散动作的 Q 值 $Q(s_t,a)$。训练的目标是最小化预测 Q 值与目标值之间的误差。n-step Q-learning 的目标值结合了实际观测到的奖励和未来状态的 Q 值估计。具体而言，对于从时间步 $t$ 开始的 n-step 转移，损失函数通常包括一个关于 Q 值的均方误差项。使用 TreeQN 后，这个损失函数变为：

$${\mathcal{L}}_{\text{nstep-Q}}=\sum _{\text{envs}}\sum _{j=1}^n{\left(Q\left({\mathbf{s}}_{t+n-j},a_{t+n-j},\theta \right)-\underset{\text{n-step TD target}}{\underbrace{\left(\sum _{k=1}^j\left[{\gamma }^{j-k}{r}_{t+n-k}\right]+{\gamma }^j\underset{a^{\prime }}{\max }Q\left({\mathbf{s}}_{t+n},a^{\prime },{\theta }^{-}\right)\right)}}\right)}^2$$
解释：

1. ${\sum }_{\text{envs}}$: 这表示对所有的并行环境进行求和。在异步强化学习中，通常会同时运行多个环境，论文中每次搜索 (可以并行) 都可以看作一个环境。

2. ${\sum }_{j=1}^n$: 这表示对从 $j=1$ 到 $n$ 的步数进行求和。这是 n-step 的核心思想。不只计算一步的 TD 误差，而是考虑从当前状态到未来 n 步的状态的TD误差。这里的 $j$ 表示从当前状态 ${\mathbf{s}}_{t+n-j}$ 开始，往前看 $j$ 步。

3. ${\sum }_{k=1}^j\left[{\gamma }^{j-k}{r}_{t+n-k}\right]$: 这是从状态 ${\mathbf{s}}_{t+n-j}$ 开始，未来 $j$ 步的折扣累积回报。

   • $r_{t+n-k}$ 是在时刻 $t+n-k$ 获得的奖励。
   • $\gamma$ 是折扣因子，用于衡量未来奖励的重要性。
   • ${\gamma }^{j-k}$ 是对应的折扣系数，距离当前状态越远的奖励，折扣越大。
   • 这个求和项计算的是从状态 $t+n-j$ 开始，到状态 $t+n-1$ 为止，这 $j-1$ 步获得的折扣奖励。

4. ${\gamma }^j{\max }_{a^{\prime }}Q\left({\mathbf{s}}_{t+n},a^{\prime },{\theta }^{-}\right)$: 这是在未来状态 ${\mathbf{s}}_{t+n}$ 的目标 Q 值，用目标网络 ${\theta }^{-}$ 计算。

   • ${\mathbf{s}}_{t+n}$ 是从状态 ${\mathbf{s}}_{t+n-j}$ 经过 $j$ 步后的状态。
   • ${\max }_{a^{\prime }}Q\left({\mathbf{s}}_{t+n},a^{\prime },{\theta }^{-}\right)$ 表示在状态 ${\mathbf{s}}_{t+n}$ 下，使用目标网络 ${\theta }^{-}$ 评估所有可能行动的 Q 值，并取最大值。这代表了在未来状态 ${\mathbf{s}}_{t+n}$ 下能获得的最佳期望回报。
   • ${\gamma }^j$ 是对应的折扣因子，因为这是从状态 ${\mathbf{s}}_{t+n-j}$ 经过 $j$ 步到达的状态 ${\mathbf{s}}_{t+n}$ 的价值。

5. $Q\left({\mathbf{s}}_{t+n-j},a_{t+n-j},\theta \right)$: 这是在状态 ${\mathbf{s}}_{t+n-j}$ 下，执行动作 $a_{t+n-j}$ 的当前 Q 值，用当前网络 $\theta$ 计算。

整个损失函数的核心思想是：

对于每个环境和每个 $j$ (从 1 到 n)，我们计算一个 TD 误差。这个误差是 n 步实际累积回报 + n 步后状态的折扣最大 Q 值（这是我们的目标值，由目标网络计算）与 当前状态的 Q 值（由当前网络计算）之间的差。然后对所有环境和所有 $j$ 的这个误差的平方进行求和，作为要最小化的损失。

理解 n-step Q-learning。由标准 Q-learning (使用 One-step TD) 推广而来。 回顾 Q-learning:
$$\mathbb{E}[U_t|S_t=s_t,A_t=a_t^{\star }]=\underset{a}{\max }{Q}^{\star }(s_t,a)$$
关键是知道 $t$ 时刻的回报 $U_t$ 可以写作:
$$\begin{array}{rl}{U}_t& =R_t+\gamma \cdot U_{t+1}\\ & =R_t+\gamma \cdot (R_{t+1}+\gamma \cdot U_{t+2})\\ & =R_t+\gamma \cdot R_{t+1}+{\gamma }^2\cdot U_{t+2}\\ & =R_t+\gamma \cdot R_{t+1}+{\gamma }^2\cdot R_{t+2}+\cdots +{\gamma }^n\cdot U_{t+n}\\ & =\sum _{i=0}^{n-1}{\gamma }^i\cdot R_{t+i}+{\gamma }^n\cdot U_{t+n}\end{array}$$

3.2 辅助损失

尽管端到端训练能够使模型 components 为 RL 任务服务，但学习到的抽象状态转移和奖励预测可能与真实环境并不完全对应，缺乏“接地”（Grounding）。为了鼓励 TreeQN 的内部规划过程更接近真实环境的动力学和奖励，论文引入了辅助损失（Auxiliary Losses）。这些辅助损失在训练 RL 主目标的同时，额外惩罚模型预测与真实观测之间的差异。

使用辅助损失，TreeQN 可以被视为一种 model-based 方法。而从另一个角度看，如果完全不考虑 Grounding，则可以被视为一种 model-free 的方法。

论文研究了两种主要的辅助损失：

1. 奖励 Grounding (Reward Grounding):
   这个辅助任旨在训练 TreeQN 的奖励函数 $\hat{r}$，使其预测值接近真实环境提供的即时奖励。对于规划树中在时间步 $t$ 经过 $l$ 步内部转移、对应于真实动作序列 { a t , a t + 1 , … , a t + l − 1 } \{a_t, a_{t+1}, \dots, a_{t+l-1}\} {at​,at+1​,…,at+l−1​} 的节点，其预测奖励 ${\hat{r}}_{l|t}^{a_{t+l-1}}$ 被强制接近真实的奖励 $r_{t+l-1}$。
   考虑到 n-step Q-learning 的训练批量包含多个时间步的转移，奖励 Grounding 损失被定义为：
   $${\mathcal{L}}_r={\eta }_r\sum _{\text{envs}}\sum _{j=1}^n\sum _{l=1}^{\min (d,n-j+1)}({\hat{r}}_{l|t+j}^{a_{t+j:t+j+l-1}}-r_{t+j+l-1}{)}^2$$
   其中 ${\eta }_r$ 是控制奖励 Grounding 强度的超参数。外层的两个求和项遍历了并行环境和 n-step 转移序列中的每个时间步 $t+j$。内层的求和遍历了规划树的深度 $l$，但只考虑那些其对应真实奖励 $r_{t+j+l-1}$ 已经被观测到的节点（$\min$ 函数，使 $l$ 不超过当前 n-step 序列的剩余步数）。${\hat{r}}_{l|t+j}^{a_{t+j:t+j+l-1}}$ 表示在时间步 $t+j$ 对应的状态下，沿着真实采取的动作序列 { a t + j , … , a t + j + l − 1 } \{a_{t+j}, \dots, a_{t+j+l-1}\} {at+j​,…,at+j+l−1​} 在规划树中预测的第 $l$ 步的奖励。

2. 状态 Grounding (State Grounding):
   这个辅助任务旨在训练 TreeQN 的转移函数，使其预测的抽象状态接近真实状态的编码。对于规划树中在时间步 $t$ 经过 $l$ 步内部转移、对应于真实动作序列 { a t , a t + 1 , … , a t + l − 1 } \{a_t, a_{t+1}, \dots, a_{t+l-1}\} {at​,at+1​,…,at+l−1​} 的节点，其预测状态表示 $z_{l|t}^{a_{t:t+l-1}}$ 被强制接近真实环境在时间步 $t+l$ 的状态编码 $z_{0|t+l}$。
   状态 Grounding 损失被定义为：
   $${\mathcal{L}}_s={\eta }_s\sum _{\text{envs}}\sum _{j=1}^n\sum _{l=1}^d(z_{l|t+j}^{a_{t+j:t+j+l-1}}-z_{0|t+j+l}{)}^2$$
   结构与奖励 Grounding 类似。$z_{l|t+j}^{a_{t+j:t+j+l-1}}$ 表示在时间步 $t+j$ 对应的状态下，沿着真实采取的动作序列在规划树中预测的第 $l$ 步的抽象状态表示。$z_{0|t+j+l}$ 是真实环境在时间步 $t+j+l$ 的状态经过编码器得到的表示。

总的训练损失可以是主要的 RL 损失与辅助损失的加权和。例如，在 n-step Q-learning 中，总损失为：
$${\mathcal{L}}_{\text{total}}={\mathcal{L}}_{\text{nstep-Q}}+{\mathcal{L}}_r+{\mathcal{L}}_s$$
通过同时优化主 RL 目标和这些辅助目标，TreeQN 被鼓励学习到一个不仅能预测准确 Q 值，而且其内部规划过程（转移和奖励预测）也能在一定程度上反映真实环境的模型。论文通过实验发现，奖励 Grounding 对性能有积极影响，而简单的潜在状态 Grounding（L2 Loss）并没有带来提升，这表明在抽象空间中进行状态 Grounding 仍是一个有待深入研究的问题。

4. ATreeC 架构

TreeQN 成功地将可微分树状规划集成到基于价值的方法（如 DQN）中。自然而然地，这种思想也可以应用于基于策略的方法，尤其是 Actor-Critic 框架。ATreeC (Actor-TreeC) 正是 TreeQN 在 Actor-Critic 领域的扩展。它的目标是学习一个直接输出动作概率的策略，同时利用树状结构赋予策略一定的“远见”或规划能力。

在 Actor-Critic 框架下，通常包含两个主要部分：一个 Actor（策略网络）负责选择动作，一个 Critic（价值网络）负责评估当前状态或状态-动作对的价值，并用这个价值信号来指导 Actor 的学习。ATreeC 将 TreeQN 的树状结构用于构建策略网络（Actor）。

4.1 ATreeC 的组成部分

1. 状态编码器 (Encoder Function):
   与 TreeQN 相同，ATreeC 也使用一个状态编码器将原始状态 $s_t$ 转换为抽象状态表示 $z_t$。这个编码器通常与 Critic 的编码器共享参数。
   $$z_t=\text{encode}(s_t)$$

2. 策略网络 (Actor):
   ATreeC 的策略网络是基于 TreeQN 的树状结构构建的。唯一不同是在输出 Q 向量后添加了一个 softmax 层，将其转化为一个离散动作的概率分布 $\pi (a|s_t)$。
   $$\begin{gathered} Q(s_t,a)=\text{TreeQN}(z_t) \\ \pi (a|s_t)=\text{softmax}(Q(s_t,a)) \end{gathered}$$

3. 价值网络 (Critic):
   ATreeC 的 Critic 负责估计状态价值 $V(s)$。在论文的实现中，Critic 网络结构相对简单 (也可以用 TreeQN )，它共享 Actor 的状态编码器，然后接一个全连接层来预测一个标量状态价值。
   $$V_{\text{cr}}(s_t)=w_{\text{cr}}^{\top }{z}_t+b_{\text{cr}}$$
   其中 $w_{\text{cr}}$ 和 $b_{\text{cr}}$ 是 Critic 独有的可学习参数。Critic 的训练目标是最小化预测价值与实际回报（或其估计）之间的误差。

4.2 损失函数

ATreeC 的训练通常在 Actor-Critic 算法框架下进行，例如异步优势 Actor-Critic (A3C) 或其同步变种 A2C。论文中使用了 A2C 进行训练。A2C 的训练目标是同时优化策略（最大化期望回报）和价值函数（最小化价值预测误差）。

在 A2C 框架下，Actor 的参数更新方向由优势函数（Advantage Function）决定，优势函数衡量了在当前状态下采取某个动作相对于平均水平的“好坏”。优势函数通常定义为 $A(s_t,a_t)=Q(s_t,a_t)-V(s_t)$。在 A2C 中，使用 n-step return 来估计 Q 值，并使用 Critic 的价值估计作为基线：
$$A_t=\sum _{k=0}^{n-1}{\gamma }^k{r}_{t+k}+{\gamma }^n{V}_{\text{cr}}(s_{t+n})-V_{\text{cr}}(s_t)$$

Actor 的策略梯度损失函数包含策略的对数概率项乘以优势函数，以及一个鼓励探索的熵正则项：
$${\mathcal{L}}_{\text{actor}}=-\mathbb{E}\left[\log \pi (a_t|s_t;{\theta }_{\text{actor}})A_t+\beta H(\pi (\cdot |s_t;{\theta }_{\text{actor}}))\right]$$
其中 ${\theta }_{\text{actor}}$ 是 Actor 网络的参数，$H$ 是策略的熵，$\beta$ 是熵正则化系数。

Critic 的价值函数通过最小化预测价值与 n-step return 之间的均方误差进行训练：
$${\mathcal{L}}_{\text{critic}}=\mathbb{E}\left[(V_{\text{cr}}(s_t;{\theta }_{\text{critic}})-(\sum _{k=0}^{n-1}{\gamma }^k{r}_{t+k}+{\gamma }^n{V}_{\text{cr}}(s_{t+n})){)}^2\right]$$
与 TreeQN 类似，ATreeC 也可以引入奖励 Grounding 和状态 Grounding 的辅助损失来帮助学习到的模型 components 更贴近真实环境。辅助损失的数学形式与第三节中描述的类似，但现在它们是添加到 Actor 和 Critic 的总损失中进行联合优化。

ATreeC 将 TreeQN 的可微分规划能力赋予了策略网络，使得策略在选择动作时能够利用内部的预测树进行多步的考量。实验结果表明，ATreeC 在某些任务上相对于基线 A2C 取得了更好的性能，尤其是在那些需要一定前瞻性才能做出最优决策的环境中。Actor-Critic 框架下的训练也可能带来不同的优势，例如策略梯度方法在处理随机性方面可能更具优势。

5. 总结与未来方向

论文探索了一种将深度 model-free 强化学习与在线规划深度融合的新范式。通过 TreeQN 和 ATreeC 这两个具有可微分树状结构的神经网络模型，他们有效地解决了在复杂环境中学习精确模型并将其用于规划的挑战。

核心贡献在于构建了一个端到端可微分的规划树，使得模型 Components (状态转移、奖励预测、价值函数) 可以直接通过强化学习的主目标进行优化。这种优化方式确保了学习到的模型对于其在规划树中的实际用途是有效的。TreeQN 作为价值函数网络，通过预测和回溯未来状态的 Q 值来指导决策；而 ATreeC 则将相同的树状结构应用于策略网络，使得策略能够基于多步规划的結果来输出动作概率。

通过在 Box Pushing 和 Atari 游戏上的实验，论文验证了 TreeQN 和 ATreeC 的有效性。

在 Box Pushing 环境中，TreeQN 和 ATreeC 均显著优于其对应的基线（DQN 和 A2C）。这表明在动力学相对容易学习的环境中，TreeQN 和 ATreeC 结构所引入的归纳偏置和规划能力能够有效地加速学习并获得更好的策略。不同深度的树在 TreeQN 中表现出差异，更深的树带来了性能提升，而在 ATreeC 中这种差异不明显，这可能与环境复杂度或 Actor-Critic 训练的特性有关。

在更具挑战性的 Atari 环境中，TreeQN 在多数游戏上超越了 DQN 和 VPN。ATreeC 也始终与 A2C 持平或优于 A2C。实验结果表明，TreeQN 和 ATreeC 的优势在那些需要一定前瞻性思考才能做出最优决策的游戏中尤为突出，例如 Alien 和 Seaquest。与简单增加模型容量的基线（DQN-Deep 和 DQN-Wide）相比，TreeQN 的结构和辅助损失带来的提升更为显著。然而，论文也指出，在一些探索性要求较高的游戏（如 Krull 和 Frostbite）中，所有方法的表现都不尽理想，这提示了 TreeQN 和 ATreeC 在探索机制上的潜在不足。

关于模型 Grounding 的辅助损失，实验表明奖励 Grounding 对性能有积极影响，这符合直觉，因为奖励是 RL 任务中与目标直接相关的信号。然而，简单的潜在状态 Grounding 并没有带来性能提升，这可能是因为潜在空间的误差最小化与最终的 RL 目标存在不一致，或者需要更复杂的机制来确保潜在状态的语义对应性。

TreeQN 和 ATreeC 的主要优势在于：

• 端到端可微分规划： 将规划过程融入神经网络，通过联合训练优化所有 Components，避免了传统 Model-Based RL 中模型训练与策略训练的脱节。
• 结构化的归纳偏置： 树状结构和参数共享编码了马尔可夫过程的先验知识，有助于学习更有效的状态表示和价值函数。
• 抽象状态空间规划： 在学习到的低维空间中进行规划，降低了建模难度，提高了效率。

潜在的局限性包括：

• 规划深度限制： 受限于计算资源，规划树的深度不能无限增加，这可能限制了其解决需要长远规划任务的能力。
• 抽象模型的可解释性与准确性： 学习到的抽象状态转移和奖励预测可能与真实环境存在偏差，尤其是缺乏强 Grounding 时，内部规划过程的意义可能不明确。
• 探索挑战： 在某些需要充分探索的环境中，TreeQN 和 ATreeC 并未展现出显著优势，可能需要结合专门的探索机制。

论文的结论部分也为未来的研究指明了方向：

• 更深层树的优化： 如何更有效地训练和优化具有更深规划树的模型，以处理更复杂的长期依赖问题。
• 可解释的规划： 探索新的辅助目标或模型结构，鼓励学习到的模型 components 能够产生更具可解释性的内部规划过程，同时不牺牲性能。
• 智能探索机制的融合： 将 TreeQN 和 ATreeC 与先进的探索策略相结合，提升其在探索性环境中的表现。
• 连续动作空间的扩展： 当前模型仅针对离散动作空间，将其扩展到连续动作空间是另一个重要的研究方向。

总而言之，TreeQN 和 ATreeC 提供了一种将 model-free 学习与在线规划有机结合的富有前景的方法。它们的可微分树状结构为深度强化学习模型注入了新的活力，展示了在复杂环境中实现更具“前瞻性”智能体的潜力。