SSPU-Net

SSPU-Net

Accepted by ACM MM 2021

1. 研究动机：

​ 传统的点云数据通过基于Ground Truth的有监督的方式实现数据上采样的工作，而本文提出了一种可以基于自监督的方式实现点云数据上采样。

​ 为什么要上采样？因为一般采集到的点云数据通常是稀疏的，对于一些局部的几何结构表达不够好，可能会影响下游的处理任务。所以，有必要对稀疏点云进行上采样，以生成稠密完整的点云，从而方便后续的点云处理任务。

创新点：、

• NEU(neighbor expansion unit)模块 — 领域扩展单元
• DRU(differentiable point cloud rendering unit)模块 — 可微渲染单元

2. 网络结构：

2.1 整体网络结构:

​ 首先通过一种邻域扩展单元（NEU）来将稀疏点云向上采样为稠密点云，利用每个点的局部几何结构自适应地学习权重来插值新点的特征。然后通过一个可微渲染单元（DRU），将输入的稀疏点云和生成的密集点云渲染成多视点图像。为了使稀疏点云和稠密点云具有相似的几何结构，我们在点云上构造了形状一致性损失，在渲染图像上构造了图像一致性损失来训练点云上采样网络。

2.2 NEU单元：

变量说明：

r： 上采样率

c： 特征维度，一般点云数据的坐标是三维坐标

​ $X_i$代表给定的输入点云数据中的一个点，首先我们选取该点临近的r个点的特征构建出特征图A，同时我们重复时使用该点特征r次构建出特征图B，然后对两个特征图进行concat得到特征图F，然后通过MLP自适应学习权重用于插值。$\alpha$和$\beta$分别表示临近点和中心点的权重，$\gamma$代表激活函数然后通过如下公式计算插值点的坐标信息：

​ 为了更好的融合特征，还采用了2D grid和自注意力机制。