D-DPCC: Deep Dynamic Point Cloud Compression via 3D Motion Prediction

1. 论文基本信息

发布于： 2022

2. 创新点

1. 首先提出了一种端到端深度动态点云压缩框架(D-DPCC)，用于运动估计、运动补偿、运动压缩和残差压缩的联合优化。
2. 提出了一种新的多尺度运动融合(MMF)模块用于点云帧间预测，该模块提取和融合不同运动流信息尺度，用于精确的运动估计。
3. 对于运动补偿，论文提出了一种新颖的 3D 自适应加权插值 (3DAWI) 算法，该算法利用邻居信息并自适应地减少远距离邻居的影响，从而对当前帧的特征产生逐点预测。

3. 背景

之前的方法例如 V-PCC 大多是采用将三维点云投影到二维平面上，然后采用成熟的视频压缩方法对投影后的点云进行压缩，而基于几何的 PCC 例如 G-PCC 在静态点云上的压缩取得了比较明显的进步。因此本文旨在提供一种端到端的动态点云压缩框架。

大多数学习到的 SPC 压缩方法都建立在密集对象点云的自动编码器架构之上 ，它将 SPC 压缩分为三个连续的步骤：特征提取、深度熵编码和点云重建。然而，将 SPC 压缩网络直接迁移到 DPC 并非易事。关键的挑战是将运动估计和运动补偿嵌入到端到端压缩网络中，以消除时间冗余。

4. Pipeline

4.1. 特征提取

采用基于稀疏 CNN 的下采样块（图 3(a)）进行低复杂度的点云下采样。下采样块由用于点云下采样的步幅两个稀疏卷积层组成，然后是几个初始残差网络 (IRN) 块用于局部特征分析和聚合。

4.2. 帧间预测

预测模块的整体架构如图4所示。具体来说，我们首先将 yt 和 ˆyt−1 连接在一起得到 y cat t。点云的连接操作定义为：

4.3. 多尺度运动融合

4.4. 3D 自适应加权插值

4.5. 残差压缩

4.6. 损失函数

5. 💎实验成果展示

---

6. 源码环境配置：

GitHub - ttlzfhy/D-DPCC: The codes of D-DPCC: Deep Dynamic Point Cloud Compression via 3D Motion Prediction.