蛙跳扩散模型轨迹预测

扩散模型轨迹预测

参考论文《Leapfrog Diffusion Model for Stochastic Trajectory Prediction》
CVPR2024

1. 问题定义

目的是得到model $g_{\theta }(\cdot )$，参数$\theta$来生成分布${\mathcal{P}}_{\theta }=g_{\theta }(\mathbf{X},{\mathbb{X}}_{\mathcal{N}})$，基于分布${\mathcal{P}}_{\theta }$来画$K$个样本， Y ^ = { Y 1 ^ , Y 2 ^ , . . . , Y K ^ } \hat{\mathcal{\mathbf{Y}}}=\{\hat{\mathbf{Y_1}},\hat{\mathbf{Y_2}},...,\hat{\mathbf{Y_K}}\} Y^={ Y1​^​,Y2​^​,...,YK​^​}，这样至少有一个样本是接近真实的未来轨迹。总体问题定义：
${\theta }^{\ast }={\min }_{\theta }{\min }_{{\hat{\mathbf{Y}}}_i\in \hat{\mathcal{Y}}}D\left({\hat{\mathbf{Y}}}_i,\mathbf{Y}\right),\text{ s.t. }\hat{\mathcal{Y}}\sim {\mathcal{P}}_{\theta }$
$\mathbf{X}$和${\mathbb{X}}_{\mathcal{N}}$分别表示ego车辆的过去轨迹和neighboring车辆，$\mathbf{Y}$是ego车辆的未来轨迹。
通过一系列去噪步骤来学习轨迹分布，先执行前向diffusion的加噪到 未来轨迹的ground-truth上，然后，用条件去噪过程从过去轨迹的噪声中来恢复未来轨迹。
Diffusion 过程：

2. 方法论

2.1 前向扩散

$${\mathbf{Y}}^0=\mathbf{Y}$$
初始化扩散轨迹，
$${\mathbf{Y}}^{\gamma }=f_{\text{diffuse }}\left({\mathbf{Y}}^{\gamma -1}\right),\gamma =1,\cdots ,\Gamma$$
使用前向$f_{diffuse}(\cdot )$向${\mathbf{Y}}^{\gamma -1}$添加连续噪声来获取扩散后的${\mathbf{Y}}^{\gamma }$，其中${\mathbf{Y}}^{\gamma }$是第$\gamma$次diffusion步骤

2.2 逆过程

$${\hat{\mathbf{Y}}}_k^{\Gamma }\stackrel{i.i.d}{\sim }\mathcal{P}\left({\hat{\mathbf{Y}}}^{\Gamma }\right)=\mathcal{N}\left({\hat{\mathbf{Y}}}^{\Gamma };0,\mathbf{I}\right)\text{, sample }K\text{ times }$$
从正态分布中抽取$K$个独立同分布的样本初始化去噪轨迹$\widehat{{\mathbf{Y}}_k^{\Gamma }}$
$${\hat{\mathbf{Y}}}_k^{\gamma }=f_{\text{denoise }}\left({\hat{\mathbf{Y}}}_k^{\gamma +1},\mathbf{X},{\mathbb{X}}_{\mathcal{N}}\right),\gamma =\Gamma -1,\cdots ,0$$
迭代应用去噪操作$f_{denoise}(\cdot )$以过去轨迹$\mathbf{X},{\mathbb{X}}_{\mathcal{N}}$为条件获取去噪轨迹。
$\widehat{{\mathbf{Y}}_k^{\gamma }}$是第$\gamma$次去噪轨迹第$k$次采样，最终$K$个预测轨迹$$\hat{\mathcal{Y}=\left\{{\hat{\mathbf{Y}}}_1^0,{\hat{\mathbf{Y}}}_2^0,\dots ,{\hat{\mathbf{Y}}}_K^0\right\}}$$
Note：
前向扩散处理不会用于推理步骤，在训练期间，${\mathbf{Y}}^{\gamma }$是第$\gamma$步 Y k γ ^ \hat{\mathbf{Y}^\gamma_k}