【三维点云分割】——个人学习总结 Contrastive Boundary Learning for Point Cloud Segmentation

目录

目录

1. 本文工作：

2. 网络模型

2.1 什么是对比学习

2.2 点云中的对比学习如何工作？

（1）数据增强：

（2）编码

（3）损失最小化（组会ppt截图）

3. 实验结果

3.1  边界问题

3.2 性能对比

4. 总结：

4.1 优点：

4.2 缺点：

---

---

1. 本文工作：

        目前的三维点云分割方法对场景边界的分割效果较差，导致整体分割性能下降。文中主要研究场景边界的分割。因此，文中首先设计指标来评估分割性能的场景边界。针对边界分割性能不理想的问题，文中提出了一种新的对比边界学习(CBL)框架用于点云分割。

2. 网络模型

2.1 什么是对比学习

        （原文链接：对比学习（contrastive learning）_Cziun的博客-CSDN博客）

2.2 点云中的对比学习如何工作？

（1）数据增强：

        对于图像而言，数据集中的每个图像，我们可以执行两种增强组合（即裁剪 + 调整大小 + 重新着色、调整大小 + 重新着色、裁剪 + 重新着色等）。我们希望模型知道这两个图像是“相似的”，因为它们本质上是同一图像的不同版本。对于三维点云而言，数据增强主要包括随机旋转、随机缩放、随机丢弃、随机平移、随机扰动等等。通过这样的方式可以产生正对和负对。类似于图像：

 

（2）编码

        我们将之前通过数据增强的点云输入到我们的深度学习模型中，为每个点的特征创建向量表示。目标是训练出相似点云的相似表示。

  

（3）损失最小化（组会ppt截图）

 

        这篇文章使用的是对比学习中比较常用的损失函数InfoNCE Loss 。为适应点云数据，对其做了一点改进。

        d（fi,fj）文中解释是距离，但是这里准确来讲应该是余弦距离。fi理解为xi（锚点）的特征向量，fj可理解为xi通过数据增强后的正对再经过特征提取网络所得到的正对特征向量。fk可解释为负对的特征向量（在点云局部临域内和xi不同语义点的特征向量表示）

        除以Bl是为了将其正、负点的采样限制在其局部邻域Ni内，防止对比学习中特征扩散。t为对比学习中的温度系数，可解释为对比学习的强度

1. 温度参数越小，对比学习效果越强，即对比学习让相似样本距离就会越近，不相似样本距离越远。

2. 若想要让样本特征分布均匀，温度参数需要适中，太大和太小都不好。通常取0.05。

3. 实验结果

3.1  边界问题

         这就是作者通过自定义指标去量化边界问题对点云分割效果的影响。（用数据去说明问题，不错不错）。

3.2 性能对比

        所提方法针对不同的评价指标都有所提升，证明了CBL的有效性。（如果是我我也会选择randla-net，因为受随机采样的原因，他的边界对齐问题肯定是比太理想的，所以用CBL效果提升肯定也是最大的，再者，randla-net更加适用于大场景的点云，对于室内场景优势不大。）

4. 总结：

4.1 优点：

文章实验设计和写作逻辑很值得去学习。这应该是能发表在CVPR2022上的最大贡献。

        发现问题：点云分割中边界影响分割精度，而且之前没有人去做。

        解决问题：边界问题那我就解决边界，首先我得找到边界，如何找呢？在GT上去做SA(采样分组)一贯动作。然后找不同语义的局部邻域。把它看作边界。找到之后我就去借助GT去进行对比学习，拉大局部领域内不同语义点之间的差距。

4.2 缺点：

        这篇文章更加类似与一种对局部边界区域的分类问题，将局部边界区域去做所谓的对比学习，个人认为只是蹭了一波对比学习的热度。

        整体框架：内部区域还做baseline处理，局部边界区域采用对比学习。