Trajectory-guided_Control_Prediction_for_End-to-end_Autonomous_Driving（论文总结）

论文总结

Wu P, Jia X, Chen L, et al. Trajectory-guided control prediction for end-to-end autonomous driving: A simple yet strong baseline[J]. arXiv preprint arXiv:2206.08129, 2022.

1 Problem Setting

1.1 Problem formulation

1. 输入：当前状态$\mathbf{x}$（包含传感器信号$\mathbf{i}$、车速$v$和高级导航命令$\text{g}$：包含两种形式）。输出：控制信号$\text{a}$（包含纵向控制信号$throttle\in [0,1]$和$brake\in [0,1]$；横向控制信号$steer\in [-1,1]$）。
2. 构建两个分支分别预测轨迹和控制信号（由轨迹引导，包含当前和未来多步的控制信号）
3. 轨迹预测分支由真实轨迹进行监督；控制信号预测由专家控制进行监督，即行为克隆范式。
   $$\arg \underset{\theta }{\min }{\mathbb{E}}_{(\mathbf{x},{\mathbf{a}}^{\ast })\sim D}[\mathcal{L}({\mathbf{a}}^{\ast },{\pi }_{\theta }(\mathbf{x}))],$$
4. $D=\{(\mathbf{x},{\mathbf{a}}^{\ast })\}$数据集是由从专家那里收集的状态-动作对。每个收集到的路线都是一个轨迹$\xi =({\mathbf{x}}_0,{\mathbf{a}}_0^{\ast },{\mathbf{x}}_1,{\mathbf{a}}_1^{\ast },\cdots ,{\mathbf{x}}_{\mathrm{T}})$，是状态动作对序列$\{({\mathbf{x}}_i,{\mathbf{a}}_i^{\ast }){\}}_{i=0}^{\mathrm{T}}$。

1.2 Expert demonstration

1. 专家是Roach，原因在于可以提供监督信号之外的信息，比如隐层特征。价值损失作为辅助任务添加到学生模型中，以预测期望回报。

2 Architecture Design

1）输入图像$\mathbf{i}$经过MLP（比如ResNet）得到特征图$\mathbf{F}$；2）concatenate导航信息$\text{g}$和当前车速$v$形成$\mathbf{m}$，输入$\mathbf{m}$经过MLP后输出得到measurement feature ${\mathbf{j}}_{\mathrm{m}}$。二者随后输入到Trajectory planning branch和Multi-step Control Branch中，最后，采用基于情景的融合方案，将两种输出模式的优点结合起来（无非就是加权平均）。

2.1 Trajectory planning branch

1. 图像特征$\mathbf{F}$经过平均池化层后与measurement feature ${\mathbf{j}}_{\mathrm{m}}$concatenate形成${\mathbf{j}}^{\mathrm{traj}}$。
2. ${\mathbf{j}}^{\mathrm{traj}}$输入到GRU中自回归的获得未来waypoints。
3. 使用两个PID控制器分别进行横向和纵向控制，首先计算连续航路点之间的向量。这些矢量的大小代表所需的速度，并被发送给纵向控制器以产生油门和刹车控制动作，方向被发送给横向控制器以获得转向动作。

2.2 Multi-step Control Branch

1. 输入当前状态${\mathbf{x}}_t$，输出多个动作${\pi }_{{\theta }_{bulti}}=({\mathbf{a}}_{\mathbf{t}},{\mathbf{a}}_{\mathbf{t}+1},\cdots ,{\mathbf{a}}_{\mathbf{t}+\mathbf{K}})$。Temporal mmodule充当模拟器，来解决从当前感知输入预测未来控制输出的问题。（执行自车和环境的交互改变过程，主要提供环境的动态信息和自车的状态）
2. 同时，为了提高融合关键静态信息(如路沿和车道)的能力，并增强两个分支的空间一致性，我们建议使用Trajectory planning branch来引导Control在每个未来时间步关注输入图像的正确区域

Temporal mmodule。

1. 在时刻$t\left(0\le t\le K-1\right)$模块的输入是当前特征${{\mathbf{j}}_{\mathbf{t}}}^{\mathrm{ctl}}$和当前预测动作${\mathbf{a}}_{\mathbf{t}}$的concatenation。（这是环境和自车状态的紧凑表示）
2. 基于当前特征向量和预测动作来推断动态变化过程。然后，更新后的隐藏状态${\mathbf{h}}_{\mathrm{t}+1}^{\mathrm{ctl}}$将包含有关环境的动态信息以及自车在时间步$\text{t+1}$时更新的状态。
3. 时间模块充当了一个粗糙的模拟器，将整个环境和代理抽象为特征向量。然后，它根据当前的动作预测模拟环境和自车之间的相互作用。（是比较抽象的）

Trajectory-guided attention。

问题引出：只有当前时刻的传感器输入，很难挑选出模型在未来步骤中应该关注的理想区域。然而，自车的位置包含了重要的线索，告诉我们如何在每个步骤中找到那些包含控制预测关键静态信息的区域。

1. 我们向轨Trajectory Branch寻求帮助，以获取自车在相应步骤的可能位置信息。
2. 利用来自控制分支和轨迹分支的相应隐藏状态来计算注意力图${\mathbf{w}}_{\mathbf{t}}\in {\mathbb{R}}^{1\times H\times W}$：
   $${\mathbf{w}}_{\mathrm{t}}=\mathrm{MLP}(\mathrm{Concat}[{\mathbf{h}}_{\mathrm{t}}^{\mathrm{traj}},{\mathbf{h}}_{\mathrm{t}}^{\mathrm{ctl}}]).$$
3. 这一步的feature map $\mathbf{F}$采用注意力映射${\mathbf{w}}_{\mathbf{t}}\in {\mathbb{R}}^{1\times H\times W}$进行聚合。然后，将参与的特征映射与${\mathbf{h}}_t^{\mathrm{ctl}}$结合起来，形成包含关于环境和自车的静态和动态信息的信息表示特征${{\mathbf{j}}_{\mathbf{t}}}^{\mathrm{ctl}}$：
   $${\mathbf{j}}_t^{\mathrm{ctl}}=\mathrm{MLP}(\mathrm{Contat}[\mathrm{Sum}(\mathrm{Softmax}({\mathbf{w}}_t)\odot \mathbf{F}),{\mathbf{h}}_t^{\mathrm{ctl}}]).$$
4. 将信息表示特征${\mathbf{j}}_{\mathrm{t}}^{ct1}$输入到策略头中，该策略头在所有时间步长之间共享，以预测相应的控制动作${\mathbf{a}}_{\mathrm{t}}$。
5. 为了保证特征${\mathbf{j}}_{\mathrm{t}}^{ct1}$确实描述了该步骤的状态并包含控制预测的重要信息，我们在每一步添加一个特征损失，使${\mathbf{j}}_{\mathrm{t}}^{ct1}$也接近专家的特征

3 Loss Design

loss有三种：轨迹规划损失${\mathcal{L}}_{traj}$、控制预测损失${\mathcal{L}}_{ctl}$和辅助任务损失${\mathcal{L}}_{aux}$。

1. 轨迹规划损失${\mathcal{L}}_{traj}$：${\mathcal{L}}_{traj}={\sum }_{t=1}^K\Vert \mathbf{w}{\mathbf{p}}_{\mathrm{t}}-\mathbf{w}{\hat{\mathbf{p}}}_{\mathrm{t}}{\Vert }_1+{\lambda }_{\mathrm{F}}\cdot {\mathcal{L}}_{\mathrm{F}}\left({\mathbf{j}}_0^{\mathrm{traj}},{\mathbf{j}}_0^{\mathrm{Expert}}\right).$
2. 控制预测损失${\mathcal{L}}_{ctl}$：$\begin{array}{c}{\mathcal{L}}_{ctl}=\mathbf{KL}\left(\mathrm{Beta}({\mathbf{a}}_0)||\mathrm{Beta}({\hat{\mathbf{a}}}_0)\right)+\frac{1}{K}\sum _{t=1}^{\Lambda }\mathbf{KL}\left(\mathrm{Beta}({\mathbf{a}}_t)||\mathrm{Beta}({\hat{\mathbf{a}}}_t)\right)\\ +{\lambda }_F\cdot {\mathcal{L}}_F\left({\mathbf{j}}_0^{\mathrm{ctl}},{\mathbf{j}}_0^{\mathrm{Expert}}\right)+\frac{1}{K}\sum _{t=1}^K{\mathcal{L}}_F\left({\mathbf{j}}_t^{\mathrm{ctl}},{\mathbf{j}}_t^{\mathrm{Expert}}\right),\end{array}$
3. 辅助任务损失${\mathcal{L}}_{aux}$：从当前图像特征预测自车的速度$s$、和Roach的价值（期望回报）。自车速度使用$L_1$损失，价值估计使用$L_2$损失。${\mathcal{L}}_{aux}$是二者加权和。

最终的损失是三者之和：${\lambda }_{traj},{\lambda }_{ctl},{\lambda }_{aux}$自然是超参数
$$\mathcal{L}={\lambda }_{traj}\cdot {\mathcal{L}}_{traj}+{\lambda }_{ctl}\cdot {\mathcal{L}}_{ctl}+{\lambda }_{aux}\cdot {\mathcal{L}}_{aux}.$$

4 Output fusion

TCP输出有两种：“规划”的轨迹和预测的控制信号，融合模块集二者之长，进行优势互补。其中$\alpha$（0 到 0.5）是融合系数，根据场景选择大小。

situation根据自车是否turning进行选择。turning：control Specialized、othwise：trajectory Specialized。
control Specialized、othwise：trajectory Specialized。