【点云系列】Relationship-based Point Cloud Completion

1. 概要

TVCG 2021 期刊，点云补全
论文地址：https://ieeexplore.ieee.org/abstract/document/9528986

2. 动机

针对多物体组合的场景中的 部分补全
关注在：两个物体是否在场景当中空间临近
如图所示：也就是两个空间相近的物体互相参考补全

3. 方法

问题定义：

给定一个分割后的部分点云，包含两个部分，分别属于不同的物体
目标：补全每个部分

假定：假定 输入是由一次扫描获取到的，这比从多个方向获取的场景更加的具有挑战性。理论来讲，我们的方法也可以用到多方向扫描的构建。

两路网络：

为什么是两路网络呢：其实就是因为两个可能残缺的物体 $O_a$和$O_b$，看先补全其中哪个物体，如果是先A再B那么就是下图的左路分支，如果是先B再A那么就是右边分支。

通过使用一致性限制来优化网络，希望两路分支的结果越像越好。通过图的参数映射来保证。
参考文献：https://consistency.epfl.ch/
也把这样的方式叫做：条件补全。
定义如下：

整体网络框架：

基于自编码器的网络：
简单来讲就是

1. 先编码所有输入的点云特征，然后最大池化获得 一个全局特征$g_1$
2. 然后扩展$g_1$和仅包含需要补全物体的特征（黄色），然后再将其最大池化为全局特征$g_2$
3. 最后用TopNet来补全需要补全的物体
   

损失函数：

1. 形状损失：EMD
2. 一致性损失： 定义在两个不同路径的EMD距离。

训练过程：

1. 先训练Step1网络
2. 训练Step2网络；
3. 训练整个网络；

4. 实验

数据集：

由[29]构建出来，也就是Interaction context (ICON): Towards a geometric functionality
descriptor这篇文章的数据集。

包含6个不同结合类型的数据集，如下图4：

• desk-chair
• vase-flower
• hanger-clothes
• basket-object
• handcart-object
• stand-hat

部分扫描模拟：

1. 首先计算感兴趣区域，如图4所示，使用IBS[28]来提取
2. 然后在提取后的IBS上采样点
3. 然后计算这些采样点的包围框作为感兴趣的交互区域。
4. 这些包围框都被坐标归一化，访客的中心视为交互的中心点。
5. 然后在感兴趣区域中心点随机采样不同相机位置中1024个点对于每个物体，移除一个物体遮挡了另一个物体的情况。

可视化效果：

实验结果：

消融实验：

图2：
• v1: PCN-encoder + PCN-decoder
• v2: PCN-encoder + topnet-decoder
• v3: Our-encoder + PCN-decoder
• v4 (ours): Our-encoder + topnet-decoder

有无 一致性损失的验证：

对噪声鲁棒

5. 空间关系

这部分是由于自己感兴趣，关注了一下。
[27] 利用相关矩阵来编码空间关系
[28] 提出 Interaction Bisector Surface （IBS）来捕获交互信息，包括 几何和拓扑特征；
[29] IBS + IR（交互区域） 来编码更多几何特征。
以上的方法是用来补全3D场景的

以下的方法是捕获点云之间的空间关系的：
[30] 图网络，结合2D和3D的集合信息来引导关联关系的表达
[31] 将在映射后边框的重叠部分 通过两个物体最近距离进行分开，然后计算空间关联性。
[32] 和[33]：联合的高斯分布来表达一个场景当中不同物体的空间关系。
[34] 基于深度学习的方法，通过近邻来衡量关系
[35] 使用注意力机制来捕获一个点和其临近点的关系。

对应文献：
[27] M. Fisher, D. Ritchie, M. Savva, T. Funkhouser, and P. Hanrahan, “Example-based synthesis of 3d object arrangements,” ACM Trans. Graph., vol. 31, no. 6, pp. 135:1–135:11, 2012.
[28] X. Zhao, H. Wang, and T. Komura, “Indexing 3d scenes using the interaction bisector surface,” ACM Transactions on Graphics (TOG), vol. 33, no. 3, pp. 22:1–22:14, 2014.
[29] R. Hu, C. Zhu, O. van Kaick, L. Liu, A. Shamir, and H. Zhang, “Interaction context (ICON): Towards a geometric functionality descriptor,” ACM Transactions on Graphics, vol. 34, 2015.
[30] X. Qi, R. Liao, J. Jia, S. Fidler, and R. Urtasun, “3d graph neural networks for RGBD semantic segmentation,” in 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 5209–5218, ISSN: 2380-7504.
[31] Y. Song, Z. Sun, Y. Wu, and H. Li, “Coarse-to-fine segmentation for indoor scenes with progressive supervision,” Computer Aided Geometric Design, vol. 75, p. 101775, 2019.
[32] M. Alberti, P. Jensfelt, and J. Folkesson, “Relational approaches for joint object classification andscene similarity measurement in indoor environments,” in AAAI Spring Symposium Qualitative Representations for Robots March 24–26 2014, Palo Alto, USA. The AAAI Press, 2014.
[33] M. Sunkel, S. Jansen, M. Wand, and H.-P. Seidel, “A correlated parts model for object detection in large 3d scans,” in Computer Graphics Forum, vol. 32. Wiley Online Library, 2013, pp. 205–214.
[34] Y. Liu, B. Fan, S. Xiang, and C. Pan, “Relation-shape convolutional neural network for point cloud analysis,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 8895–8904.
[35] Z. Li, J. Zhang, G. Li, Y. Liu, and S. Li, “Graph attention neural networks for point cloud recognition,” in 2019 IEEE International Conference on Multimedia and Expo (ICME). IEEE, 2019-07, pp. 387–392.