点云采样算法比较

最近在看牛津大学和国防科大联合一起新发的cvpr2020 的randla-net：作者写的解读链接可参考https://cloud.tencent.com/developer/article/1594448。

由于对于大规模点云深度学习而言，采样是不可避免的一个步骤，因此记录下解读里面关于点云采样的部分。

目录

1. Heuristic Sampling

1.1 Farthest Point Sampling (FPS)：

1.2 Inverse Density Importance Sampling (IDIS):

1.3 Random Sampling (RS):

2. Learning-based Sampling

2.1 Generator-based Sampling (GS)：

2.2 Continuous Relaxation based Sampling (CRS):

2.3 Policy Gradient based Sampling (PGS):

---

为了寻找到一种高效的降采样方法。我们首先对现有的的降采样方法进行研究:主要可以分为Heuristic Sampling以及Learning-based Sampling两大类：

1. Heuristic Sampling

1.1 Farthest Point Sampling (FPS)：

顾名思义，也就是每次采样的时候都选择离之前采样得到的 k-1个点距离最远的点。FPS能够比较好地保证采样后的点具有较好的覆盖率，因而在点云分割领域被广泛地使用(e.g., PointNet++, PointCNN, PointConv, PointWeb)。

然而，FPS的计算复杂度是O(n2)，计算量与输入点云的点数呈平方相关。这表明从FPS可能不适合用来处理大规模点云。举例来说，当输入一个具有百万量级点的大场景点云时，使用FPS将其降采样到原始规模的10%需要多达200秒。

 

1.2 Inverse Density Importance Sampling (IDIS):

这个也比较好理解，简而言之就是根据每个点的密度来对其重新进行排序，尽可能地保留密度比较低的地方的点。

IDIS [5] 的计算复杂度近似为O(n)(取决于如何计算每个点的密度)。相比于FPS, IDIS显然更加高效，但IDIS对噪点(outliers)也更加敏感。

 

1.3 Random Sampling (RS):

随机降采样均匀地从输入的 N 个点中选择 K 个点，每个点具有相同的被选中的概率。

RS的计算复杂度为O(1）, 其计算量与输入点云的总点数无关，只与降采样后的点数 K 有关，也即常数时间复杂度。因而具有非常高的效率以及良好的可扩展性。与FPS和IDIS相比，RS仅需0.004s即可完成与FPS相同的降采样任务。

 

2. Learning-based Sampling

2.1 Generator-based Sampling (GS)：

与传统降采样方法不一样，这类方法通过学习生成一个子集来近似表征原始的点云。GS [6,7] 是一种task-oriented, data-driven的learnable的降采样方法，

但问题在于inference阶段需要将生成的子集与原始点云进行匹配，这一步依赖于FPS matching，进而引入了更多额外的计算。使用GS将百万量级点的大场景点云降采样到原始规模的10%需要多达1200秒。

2.2 Continuous Relaxation based Sampling (CRS):

CRS [8,9] 使用reparameterization trick来将non-differentiable的降采样操作松弛(relax)到连续域使得端到端训练变成可能。CRS采样后得到的每个采样点其实都是整个点云的一个加权和(weighted sum)。具体来说，对于一个大场景的输入点云(size: N×3)，CRS通过学习得到一个采样矩阵 (size: K × N) (最终会非常稀疏), 最后采样矩阵左乘输入点云即可实现降采样。

然而，当 N 是一个非常大的值时(e.g. 10^6), 这种方式学习到的采样矩阵会带来非常大的内存消耗。举例来说，使用CRS将百万量级点的大场景点云降采样到原始规模的10%需要多达300GB的GPU内存。

2.3 Policy Gradient based Sampling (PGS):

PGS [10] 将降采样操作表示为一个马尔科夫决策过程，旨在学习到一种有效的降采样策略。该方法序贯地对每一个点学习到一个概率来决定是否保留。

然而，当输入是大场景点云时，整个网络有着极大的搜索空间(exploration space)。通过进一步地实验我们发现，将PGS应用到大型点云时，网络非常难以收敛。

 

总结一下：

对于大场景点云，FPS, IDIS和GS的计算代价都比较高， CRS对GPU内存的要求太高，而PGS难以学到一个有效的采样策略(sampling policy)。相比之下，随机采样具有以下两个优点：1)计算效率高, 因为是常数计算复杂度, 与输入点数无关 2)内存开销少，采样过程并不需要额外的内存消耗。