2023NIPS DiffTraj: Generating GPS Trajectory with Diffusion Probabilistic Model

DiffTraj: Generating GPS Trajectory with Diffusion Probabilistic Model这篇论文是2023年顶会Neural Information Processing Systems的论文。

提出一种轨迹生成方法，用生成的数据替代原始数据，以保护隐私。作者所提出的DiffTraj模型结合了扩散模型的生成能力和从真实轨迹中提取的时空特征，通过一个逆向轨迹去噪过程从白噪声重构和合成地理轨迹。同时在文章中，模型在两个真实世界的数据集上进行实验，证明了DiffTraj能够生成高保真度的轨迹，并保留原始分布。

当然阅读这篇文章还是想follow一下最新的研究前沿扩散模型，以及扩散模型在时序序列特别是轨迹序列中的实际应用。

既然本文说到了扩散模型，这里就要说一下扩散模型的一个概念。扩散模型其实核心可以分为两个阶段，加噪以及去噪。

这边是李宏毅老师举的例子，首先是加噪过程：

与之对应的去噪过程为：

再说回到论文当中，这篇论文将自己的模型定义为一种扩散概率模型即一种概率生成模型，通过正向过程添加噪声和逆向过程学习恢复数据分布来生成合成数据。

在模型中起较为关键的扩散部分为：

• 正向过程（轨迹噪声化）：在这一步，真实的轨迹分布通过添加噪声逐渐转化为随机噪声。
• 逆向过程（轨迹去噪）：这是生成轨迹的核心，通过学习如何从噪声中恢复原始轨迹分布来生成合成轨迹。
• 训练：通过最小化高斯噪声和预测噪声水平之间的均方误差来进行模型训练。

加噪过程的步骤：

1. 初始化真实轨迹：首先，我们有一个真实世界的GPS轨迹数据集，每个轨迹由一系列连续采样的GPS位置点组成。

2. 定义噪声级别：在加噪过程中，需要定义一个噪声级别序列，这个序列通常由多个时间步骤组成，每个时间步骤对应一个噪声水平。

3. 逐步添加噪声：从真实轨迹开始，按照时间步骤逐步向轨迹数据中添加高斯噪声。每一步的噪声水平由预定义的方差计划（variance schedule）决定，该计划指定了每一步添加噪声的量。

4. 轨迹转换：在每一步中，轨迹的位置点会被扰动，以生成新的轨迹点。这个过程可以看作是一个马尔可夫链，其中每一步的轨迹都是基于前一步的轨迹和相应的噪声生成的。

5. 噪声轨迹：经过T个时间步骤的噪声添加后，原始的真实轨迹被转换成了一个完全随机的噪声轨迹。

6. 重参数化技巧：为了使这个过程可微分，通常会采用重参数化技巧（reparameterization trick），这样可以通过反向传播算法来训练模型。

这使用重参数化的技巧是扩散模型比较通用的一个方法，因为会出现许多无法求导进行反向传播的如条件概率，这就可以使用高斯分布进行一个重参数化。

去噪过程的步骤：

1. 初始化噪声轨迹：开始时，我们有一个随机生成的噪声轨迹，这是通过加噪过程得到的。

2. 定义逆向时间步骤：与加噪过程类似，去噪过程也定义了一系列逆向时间步骤，每个步骤对应于去除噪声的一个阶段。

3. 逐步去除噪声：从噪声轨迹开始，逐步预测并去除噪声，恢复出更加接近真实轨迹的数据。每一步都试图逆转加噪过程中的噪声添加。

4. 条件去噪函数：在每一步去噪中，使用一个条件去噪函数，该函数以当前的噪声轨迹和条件观察（如果有的话）作为输入，并输出预测的去噪轨迹。

5. 迭代更新：在每个逆向时间步骤中，通过迭代更新来逐步精细化预测，直至生成最终的合成轨迹。

6. 重参数化技巧：与加噪过程类似，去噪过程也采用重参数化技巧来确保可微分性。

当然这篇文章的去噪则是使用了已有的模型框架UNet加入Wide & Deep 网络嵌入条件信息，这个模型框架在去噪过程中起到了结合上下文和多种特征的考虑去学习去噪参数，使得去噪后生成的轨迹更逼近真实分布。因此本模型结合已有框架起加噪和去噪可以分析为：

加噪过程：

• 目的：将真实的轨迹数据逐步转化为随机噪声，以便在逆向过程中生成新的轨迹。
• 条件参数：在某些实现中，加噪过程可能不直接使用条件参数，而是简单地向轨迹数据添加随机噪声。条件信息通常在去噪过程中使用，以指导生成更符合特定模式的轨迹。
• 结果：加噪过程的结果是生成了随机噪声轨迹，这些轨迹不包含有用的轨迹信息，但为去噪过程提供了起点。

去噪过程：

• 目的：从随机噪声中恢复出逼真的GPS轨迹，生成新的、合成的轨迹，这些轨迹在统计特性上与真实轨迹相似。
• 训练参数：去噪过程涉及学习参数，这些参数决定了如何从噪声数据中提取有用信息并生成轨迹。这个过程通过最小化预测噪声和真实噪声之间的差异来实现。
• 逼近加噪噪声：去噪过程的目标不是简单地逆转加噪过程，而是学习如何从噪声中生成新的轨迹。虽然去噪后的轨迹会尽量接近原始轨迹的分布，但它们并不需要与任何一条真实的轨迹完全相同。
• 输出轨迹：去噪过程生成的轨迹是新的合成轨迹，它们不会与原始轨迹完全相同，但应该在统计特性上与真实轨迹相似，如平均速度、总行程时间、访问地点的分布等。

当然，因为训练后难以得到完全相同的轨迹，这也是扩散模型中一个随机参数可能起到的作用，但是通过了扩散模型和已有模型框架学习到的时间空间等上下文特征，这会使得生成的轨迹会与真实轨迹有相似的分布情况。